世界初！動画生成AIでギャグアニメをシリーズ化！【野良親父】第1-3話総集編

QLoRA は、LoRA と量子化を組み合わせることで効率をさらに高めます。

量子化は、数値の精度を下げることでモデルを圧縮します。通常の重みは0.123456789のような値を表現できる32ビットの数値として保存されますが、量子化によって4ビットの数値に縮小され、0.12しか表現できなくなります。これは、高解像度の写真をファイルサイズを小さく圧縮するようなものです。細部は多少失われますが、重要な情報は保持されます。

QLoRAは、メインモデルを4ビット精度に圧縮したまま、LoRAアダプタをフル精度で維持します。モデルは必要に応じて関連セクションを一時的に解凍し、高精度のLoRA調整を加えて出力を生成します。これは、巨大な図書館のZIPファイルから必要な本だけを解凍し、付箋を追加して、再び圧縮するようなものです。

AI専用アクセラレータを搭載した3万ドルのサーバーが必要となるようなモデルが、今ではコンシューマー向けグラフィックカードを搭載した2,000ドルのゲーミングPCで微調整できるようになりました。QLoRAは、多くの愛好家が既に所有している24GBのメモリを搭載したシングルGPUで、650億パラメータのモデルを微調整できます。

簡単な例として、イギリス英語とアメリカ英語の違いを説明するようなものと考えてください。異なる単語を一つ一つリストアップして巨大な辞書を作成することもできますし、「our」で終わる単語から「u」を削除する」「ise」を「ize」に変更するといった簡単なルールをいくつか記述することもできます。LoRAはこれらの「ルール」を見つけて、モデルの挙動を適応させます。

効率性の向上は驚異的です。従来のファインチューニングでは700億個のパラメータを更新するところ、LoRAではわずか5000万個、つまり全体の0.1%未満しか更新しません。これほど大幅な削減にもかかわらず、パフォーマンスは完全なファインチューニングと同等か、非常に近い値になることがよくあります。メモリ要件は500GBから20GB程度に低下し、トレーニング時間は数週間から数時間に短縮され、コストは数千ドルから数十ドルにまで大幅に削減されます。

700億パラメータのモデルを微調整するには、数万ドルもするハイエンドGPUを複数台必要とします。メモリ要件だけでも500GBを超え、学習にはクラウドコンピューティングの料金で数千ドルかかることもあります。そのため、資金力のある企業だけが大規模な言語モデルをカスタマイズでき、小規模な組織や研究者は取り残されるという状況が生まれていました。

LoRA (Low-Rank Adaptation) はこの状況を劇的に変えました。

LoRAは、モデル内の数十億ものパラメータをすべて更新するのではなく、モデルの挙動を修正する小さな学習可能なコンポーネントを追加します。1,000万冊もの蔵書を持つ巨大な図書館を想像してみてください。私たちはこの図書館を医学生向けにカスタマイズしたいと考えています。従来の微調整では、すべての書籍を編集する必要があり、膨大な作業になります。それは永遠に続く時間と莫大な費用がかかります。しかし、LoRAは、最も重要なページに付箋を貼るようなものです。これらの付箋は、書籍を書き換えることなく、医学に特化したアプローチで読む方法をガイドします。元の書籍はそのままですが、これらの戦略的な追加によって読書体験は一変します。

LoRA の背後にある技術革新は、微調整の変更のほとんどがパターンに従っていることを認識していることです。

あらゆる書籍、記事、文書を読み漁りながらも、貴社特有のニーズや業界のニーズについては全く知らない優秀な従業員を雇ったと想像してみてください。彼らは一般知識は豊富ですが、追加のトレーニングを受けなければ、貴社の特定の課題を解決することはできません。

これは、GPT、Claude、LLaMAといった大規模言語モデルを開発する際に開発者が直面する可能性のある状況です。これらのモデルはインターネット規模のデータを用いた学習によって膨大な知識を有していますが、特殊なタスク向けにそのままでは最適化されていない可能性があります。

ファインチューニングとは、これらの汎用的なAIモデルに、特定のアプリケーションに特化したスキルを学習させるプロセスです。ゼロから開発を始め、数百万ドルもの費用をかけて新しいモデルを学習させるのではなく、ファインチューニングによって既存のモデルを適応させ、医療診断、法務文書分析、顧客サービス、コード生成など、特定のニーズに対応できるようになります。

ケブラー®は、1965年にデュポン社で、新しいタイプの耐火性ポリアミド繊維の合成を任されていたステファニー・クオレクが、新しい特性を持つ繊維に偶然出会ったときに発明されました。

彼女は思いがけず、特定の条件下では多数のポリアミド分子が平行に並び、濁った液晶溶液を形成することを発見しました。粘性があり透明な溶液ではなく、流動的で濁った溶液であったため、ほとんどの研究者はこれを却下したでしょう。しかし、クオレクは思い切ってこの溶液を紡ぎ、かつてないほど強く硬い繊維を作り上げました。この画期的な発見により、裂傷、銃弾、極度の温度など、様々な条件に耐える多くの新製品の可能性が開かれました。

シリコン太陽電池の仕組みは、シリコン片のpn接合に光が当たることで電流が生成されるというもので、1940年にベル研究所で偶然に初めて発見されました。

ベル研究所のエンジニア、ラッセル・オールは、亀裂の入ったシリコン棒が奇妙な電気的挙動を示すことに気づいた。光に当てると驚くほど強い電流が流れるのである。シリコンのサンプルを採取したオールとスタッフは、亀裂の両側でわずかな化学的差異があることを発見した。シリコン棒は炉で作られたシリコンインゴットから切り出されたもので、オールの棒が切り出されたインゴットは、亀裂を防ぐため炉から取り出す際に非常にゆっくりと冷却されていた。インゴットが冷えると、シリコン内の化学的不純物が移動した。軽い不純物は上部に移動し、重い不純物は下部に残った。これらの異なる不純物が、2つの領域を隔てる亀裂で光起電力現象を引き起こしていた。オールは偶然にも、半導体技術の基本構成要素であり、現代の太陽電池の心臓部であるpn接合に遭遇したのである。

電子レンジの仕組みは、1945 年にレイセオン社のペリー スペンサーが偶然発見したことで有名です。スペンサーは、ポケットに入れたキャンディー バーが、当時作業していたマイクロ波レーダーによって溶けていることに気づいたのです。

チョクラルスキー法は、溶融池から物質をゆっくりと引き上げることで大きな単結晶を作り出す方法で、1916年にポーランドの化学者ヤン・チョクラルスキーが、万年筆をインク壺ではなく、溶けた錫のるつぼにうっかり浸してしまったことに端を発しています。万年筆を引き抜くと、長い錫の糸が伸びてきて、冷却すると単結晶であることがわかりました。

安全ガラスは、1903年に棚から落として割れたガラス瓶が、その後もくっついたままであることに気づいたフランスの芸術家エドゥアルド・ベネディクトゥスによって発明されました。この瓶には元々、コロイドンと呼ばれる物質が入っていました。これは、硝酸セルロースのアルコール/エーテル溶液です。瓶の中の液体が蒸発し、「セルロイドエナメル」が残り、割れたガラスの破片をくっつけていました。6年後、ベネディクトゥスは「トリプレックス」安全ガラスを開発しました。これは、プラスチック製のセルロイドコアに2枚のガラス板を貼り付けた構造です。