DeepMind、Anthropic、MIT、スタンフォードの研究者たちは、さまざまな研究で、LLMの内部状態は、オブジェクト間の空間的関係（イベントとその結果をつなぐ因果構造）と時間的シーケンス（時間）、エンティティの特性とその関係、および出力に因果的に関連する概念間の事実上の関連性に関するものであることを発見しました。モデルは、パリがフランスの首都であることをデータベースから検索するわけではありません。パリが首都であるという情報を取得できる、地理的および政治的構造の圧縮された内部モデルを持っています。それが世界モデルです。