通常のソフトウェアエンジニアリングとは異なり、基礎モデルのトレーニングが私たちが守るべきルールの多くを破る点にあると思います。ソフトウェアの世界では、例えばMicrosoft Wordの開発が私たちの仕事だとしましょう。私はこう言えます。「アレックス、保存機能を動作させるのはあなたの仕事。クラウドストレージが動作することを確認するのはデイビッドの仕事。そして、UIの見栄えを良くするのは別の誰かの仕事」。これらの問題は、それぞれ独立して因数分解することができます。

基礎モデルの学習における問題は、最終的な成果物が一つしかないため、あらゆる決定が他のあらゆる決定に干渉してしまうことです。最終的な成果物とは、フロンティアモデルです。まるで巨大な重りの入った袋のようなものです。つまり、事前学習で私が行うこと、別の人が教師あり微調整で行うこと、強化学習で行うこと、そして別の人がモデルを高速化するために行うこと、これらはすべて、時には非常に予測不可能な方法で相互作用します。