私たちは知能を再現しようとしています。人間が月に行ったり半導体を製造したりできる理由を理解したいのであれば、私たちが理解したいのは、それがなぜ可能になるのかということです。動物は月に行ったり半導体を製造したりできません。私たちは、人間を特別なものにしているものは何なのかを理解したいのです。

教師あり学習は自然界では起こりません。たとえ学校で起こったとしても、それは人間に起こる特別な現象なので、忘れるべきです。自然界では広く起こりません。リスは学校に通いません。リスは世界のあらゆることを学ぶことができます。動物では教師あり学習が行われていないことは、全く明白だと思います。

ゲーセンは毎日ＵＦＯキャッチャーに入れられた金額を見て損をしないようにアームの強さやツメを調節します。
だから高いものだと、明らかに持ち上がらないような詐欺的アームの弱さにして、お客さんがたくさんやってくれて元をとってから放出します（１～２回で取れるように調整する）。
人気商品は稼がせてもらうために最初はほとんど取れないんです。

私にとって、目標を持つことが知性の本質です。目標を達成できるものこそが知的です。ジョン・マッカーシーの定義、「知性とは目標を達成する能力の計算的部分である」は素晴らしいと思います。目標がなければ、ただの振る舞いをするシステムでしかありません。特別な存在ではなく、知的でもないのです。

人の言葉を真似ることは、実際には世界のモデルを構築することには全くなりません。あなたが真似しているのは、世界のモデルを持つもの、つまり人間です。敵対的なアプローチをしたくはありませんが、人間が世界モデルを持っているという考えには疑問を感じます。世界モデルがあれば、何が起こるかを予測できます。人間は、人が何を言うかを予測する能力を持っています。しかし、何が起こるかを予測する能力はありません。

知能とは何か？問題は、自分の世界を理解することです。強化学習は自分の世界を理解することですが、大規模言語モデルは人間の真似をし、人間が言うべきことを実行することです。何をすべきかを考えることではありません。

QLoRA は、LoRA と量子化を組み合わせることで効率をさらに高めます。

量子化は、数値の精度を下げることでモデルを圧縮します。通常の重みは0.123456789のような値を表現できる32ビットの数値として保存されますが、量子化によって4ビットの数値に縮小され、0.12しか表現できなくなります。これは、高解像度の写真をファイルサイズを小さく圧縮するようなものです。細部は多少失われますが、重要な情報は保持されます。

QLoRAは、メインモデルを4ビット精度に圧縮したまま、LoRAアダプタをフル精度で維持します。モデルは必要に応じて関連セクションを一時的に解凍し、高精度のLoRA調整を加えて出力を生成します。これは、巨大な図書館のZIPファイルから必要な本だけを解凍し、付箋を追加して、再び圧縮するようなものです。

AI専用アクセラレータを搭載した3万ドルのサーバーが必要となるようなモデルが、今ではコンシューマー向けグラフィックカードを搭載した2,000ドルのゲーミングPCで微調整できるようになりました。QLoRAは、多くの愛好家が既に所有している24GBのメモリを搭載したシングルGPUで、650億パラメータのモデルを微調整できます。

簡単な例として、イギリス英語とアメリカ英語の違いを説明するようなものと考えてください。異なる単語を一つ一つリストアップして巨大な辞書を作成することもできますし、「our」で終わる単語から「u」を削除する」「ise」を「ize」に変更するといった簡単なルールをいくつか記述することもできます。LoRAはこれらの「ルール」を見つけて、モデルの挙動を適応させます。

効率性の向上は驚異的です。従来のファインチューニングでは700億個のパラメータを更新するところ、LoRAではわずか5000万個、つまり全体の0.1%未満しか更新しません。これほど大幅な削減にもかかわらず、パフォーマンスは完全なファインチューニングと同等か、非常に近い値になることがよくあります。メモリ要件は500GBから20GB程度に低下し、トレーニング時間は数週間から数時間に短縮され、コストは数千ドルから数十ドルにまで大幅に削減されます。

700億パラメータのモデルを微調整するには、数万ドルもするハイエンドGPUを複数台必要とします。メモリ要件だけでも500GBを超え、学習にはクラウドコンピューティングの料金で数千ドルかかることもあります。そのため、資金力のある企業だけが大規模な言語モデルをカスタマイズでき、小規模な組織や研究者は取り残されるという状況が生まれていました。

LoRA (Low-Rank Adaptation) はこの状況を劇的に変えました。

LoRAは、モデル内の数十億ものパラメータをすべて更新するのではなく、モデルの挙動を修正する小さな学習可能なコンポーネントを追加します。1,000万冊もの蔵書を持つ巨大な図書館を想像してみてください。私たちはこの図書館を医学生向けにカスタマイズしたいと考えています。従来の微調整では、すべての書籍を編集する必要があり、膨大な作業になります。それは永遠に続く時間と莫大な費用がかかります。しかし、LoRAは、最も重要なページに付箋を貼るようなものです。これらの付箋は、書籍を書き換えることなく、医学に特化したアプローチで読む方法をガイドします。元の書籍はそのままですが、これらの戦略的な追加によって読書体験は一変します。

LoRA の背後にある技術革新は、微調整の変更のほとんどがパターンに従っていることを認識していることです。