引用ジャングル

700億パラメータのモデルを微調整するには、数万ドルもするハイエンドGPUを複数台必要とします。メモリ要件だけでも500GBを超え、学習にはクラウドコンピューティングの料金で数千ドルかかることもあります。そのため、資金力のある企業だけが大規模な言語モデルをカスタマイズでき、小規模な組織や研究者は取り残されるという状況が生まれていました。

LoRA (Low-Rank Adaptation) はこの状況を劇的に変えました。

LoRAは、モデル内の数十億ものパラメータをすべて更新するのではなく、モデルの挙動を修正する小さな学習可能なコンポーネントを追加します。1,000万冊もの蔵書を持つ巨大な図書館を想像してみてください。私たちはこの図書館を医学生向けにカスタマイズしたいと考えています。従来の微調整では、すべての書籍を編集する必要があり、膨大な作業になります。それは永遠に続く時間と莫大な費用がかかります。しかし、LoRAは、最も重要なページに付箋を貼るようなものです。これらの付箋は、書籍を書き換えることなく、医学に特化したアプローチで読む方法をガイドします。元の書籍はそのままですが、これらの戦略的な追加によって読書体験は一変します。

LoRA の背後にある技術革新は、微調整の変更のほとんどがパターンに従っていることを認識していることです。