1.スケーリングの時代（2020～2025年）は終わりました。単にコンピューティング能力とデータ量を追加するだけの事前トレーニングでは、効果は減少しています。

2.私たちは再び「研究の時代」に突入しています。進歩は力ずくではなく、アルゴリズムのブレークスルーによってもたらされるでしょう。

3.モデルは人間よりも一般化が苦手です。現在のアーキテクチャは「不規則な一般化」を示しており、複雑なタスクでは優れているものの、単純なタスクではうまく機能しません。

4.データは有限です。イリヤが「AIの化石燃料」と呼ぶインターネットは、限られた資源です。