現代の AI モデルは、2017 年に導入されて自然言語処理に革命をもたらした Transformers と呼ばれるアーキテクチャに基づいて構築されています。Transformers は単語間の関係を理解するのに優れていますが、コンテキストの長さに応じて計算コストが指数関数的に増加するという弱点があります。

これは単なる技術的な制限ではなく、これまで使ったことのあるあらゆるAIアシスタントに影響を及ぼす根本的な制約です。リチャードソン・ガンデ氏が的確に表現しているように、現在のAIとの会話はしばしば「金魚と話している」ような感覚になります。つまり、AIは一瞬だけ話を聞いて、次の話題に移ると全てを忘れてしまうのです。