単一のニューロンは、文脈に応じて、一見無関係に見える複数の概念、時には多数の概念に反応します。Anthropicの2022年の解釈可能性に関する研究は、私にとって啓発的でした。なぜなら、小型トランスフォーマー内の個々のニューロンが、ある文脈では法律用語に、別の文脈ではプログラミング概念に、さらに別の文脈では特定の構文構造に「発火」／反応することを示したからです。同じ計算単位でありながら、周囲で活性化されるものによって意味が異なります。「周囲」という点が重要です。これは多義性と呼ばれ、ニューロンの挙動においては例外ではなく、むしろ規範となっているようです。

ちなみに、この現象が起こる理由は効率性であり、その背後にある数学的な説明は非常に重要なので次のセクションで説明しますが、今のところ理解しておくべき重要な点は、「正義」という概念は、47,382番目のニューロン、14行目だけに保存されているわけではないということです。それは、潜在的に数千個のニューロンに広がる特定の活性化パターンとして保存されており、それらのニューロンは（脳と同様に）活性化領域という形で同時に数十もの他の概念の保存にも関与しており、それらの概念はすべて重なり合っているため、個々のニューロンを単一の分析単位として扱うことはほとんど意味をなさないのです。

そう、ニューラルネットワークの内部構造は、脳と同じように扱わなければならないのです！