LLM には世界モデルが欠けている。LLMには、真の理解に必要な物理環境の表現が欠けていると考えられている。しかし、世界モデルを持つために必要なのは、状況が異なった場合に何が起こるかを予測する、つまり反事実的質問に答える能力だけだ。最先端の LLM に、タイル張りの床にグラスを落とすのと枕を落とすのとでは何が違うのかと尋ねれば、片方の場合には粉々になることを正しく予測し、もう片方の場合には粉々になることを予測しないだろう。オリンピックの数学や物理学の問題を解き、工学設計を支援する LLM の能力は、LLM が物理原理の機能モデルを持っていることを示唆している。これらの基準では、LLM はすでに世界モデルを持っている。さらに、自動運転などの特殊領域向けに開発されたニューラル ネットワークは、反事実的推論や洗練された物理的認識をサポートする物理的シーンの予測モデルをすでに学習している。