トレーニングという言葉をよく使うので、トレーニングの意味の本質を理解することも役立つということです。トレーニングは「勾配降下法」と呼ばれる考え方に従います。これは、変更を加え、トレーニングサイクルを実行するにつれて、段階的にどれだけの改善が見られるか、そしてどの時点で改善が止まるか、あるいは逆転するかを測るものです。特定の領域では、データの勾配降下率が非常に高く、小さな変更でもモデルに大きな信号が返されます。そのため、モデルはこうしたことに非常に優れています。その良い例はソフトウェア自体です。コードに小さな変更を加えても、反対側には小さな違いはなく、壊れたソフトウェアが生成されます。つまり、ソフトウェアに小さな変更を加えると、トレーニングに大きな信号が返されるため、勾配降下法は非常に急峻になり、比較的限られたデータでもモデルの品質が大幅に向上します。英語そのものは正反対で、言語を少し変えて、どちらが良いかと聞かれたら、「ああ、分からないけど、こっちの方がいいかもしれないし、あっちの方がいいかもしれない」と言うでしょう。

したがって、言語自体から学習することとソフトウェアから学習することという概念は非常に異なっており、これは非常に重要です。なぜなら、これらのモデルがソフトウェア自体のコンテキストで優れている理由、学習の勾配降下法が非常に急峻であること、そして言語ではそれらが非常に曖昧で、時には危険でさえある理由、比較的小さな情報から学習する同じ能力がないため、それがわかるからです。そして、これは次のステップに進み、AI のベンチマーク自体が非常に矛盾している理由でもあります。ソフトウェアはモデルを実行するのに非常に適した場所であるため、「このモデルはソフトウェアに非常に優れているため、AGI への道を歩んでいる」と言うことは、大規模言語モデルの本質に対する大きな誤解を示しています。もちろん、それらはソフトウェアに優れています。大規模言語モデルをトレーニングするのにソフトウェアほど適した領域はほとんどないでしょう。