引用ジャングル

簡単な例として、イギリス英語とアメリカ英語の違いを説明するようなものと考えてください。異なる単語を一つ一つリストアップして巨大な辞書を作成することもできますし、「our」で終わる単語から「u」を削除する」「ise」を「ize」に変更するといった簡単なルールをいくつか記述することもできます。LoRAはこれらの「ルール」を見つけて、モデルの挙動を適応させます。

効率性の向上は驚異的です。従来のファインチューニングでは700億個のパラメータを更新するところ、LoRAではわずか5000万個、つまり全体の0.1%未満しか更新しません。これほど大幅な削減にもかかわらず、パフォーマンスは完全なファインチューニングと同等か、非常に近い値になることがよくあります。メモリ要件は500GBから20GB程度に低下し、トレーニング時間は数週間から数時間に短縮され、コストは数千ドルから数十ドルにまで大幅に削減されます。