「スケーリング」はたった一つの単語ですが、人々に何をすべきかを伝える非常に強力な言葉です。人々は「スケールしてみましょう」と言います。では、何をスケーリングするのか？ スケーリングに必要なのは事前トレーニングでした。それは、特定のスケーリングレシピでした。

事前学習の大きなブレークスルーは、このレシピが良いものだと認識できることです。「ほら、あるサイズのニューラルネットワークにコンピューティングとデータを混ぜれば、結果が得られる。レシピをスケールアップすれば、もっと良い結果が得られるだろう」と想像してみてください。これもまた素晴らしいことです。企業は、非常に低リスクでリソースを投資できる方法であるため、この手法を高く評価しています。