孫氏とその仲間たちは、2024年のある時期にこの研究をさらに発展させ、LLMの人工ニューロンのサブグループを、人間の特定の機能的脳ネットワークにマッピングしました。これには、「デフォルトモードネットワーク」（外界に意識を向けず、内的な思考に従事しているときに活動する脳領域）と呼ばれるものや、視覚処理システム、言語ネットワークなどが含まれます。彼らは、この脳のような機能的組織がより高度なモデルに共通していることを発見しました。つまり、モデルが高度になるほど、局所的な活動センターを含め、脳のように見え、脳のように振る舞うようになるのです。初期のBERTモデルと最近のLlamaファミリーの間の脳のような組織のギャップは測定可能で、かなり大きいものです。これらのモデルがスケールアップするにつれて何かが起こり、十分なスケールでのトレーニングプロセスに何らかのダイナミクスが生じ、モデルの内部組織が生物学的知能の組織化方法と非常によく似たパターンへと押し進められているようです。

そして重要なのは、誰もこのような事態を意図していなかったということです。彼らは脳の領域に似たモデルを構築していたわけではありません。確かに、ローゼンブラットのパーセプトロンは単純なニューラルネットワークに基づいており、ニューラルネットワークのノードは今でもニューロンと呼ばれています。しかし、それだけです。私たちはテキスト予測の損失関数を最小化しており、その最小化プロセスは脳のような構造に収束しています。おそらく、脳のような機能的組織化は、人間の言語が符号化する種類の情報を処理する効率的な方法であり、最適化プロセスは、私たちが指示したかどうかに関わらず、その効率性を見つけ出すのでしょう。