Transformer がテキストを処理する際、関係性を理解するために、すべての単語を他のすべての単語と比較する必要があります。10語の文であれば、100回の比較、100語であれば1万回の比較、10万語の本であれば100億回の比較になります。メモリ要件と処理時間は増加するだけでなく、爆発的に増加します。

ChatGPT、Claude、Geminiが長時間の会話中に一貫性を失い始めるのは、このためです。これらのモデルは人間のように「忘れる」のではなく、計算能力の限界に達しているのです。これらのモデルは、以前の文脈を切り捨てるか、それを維持するために指数関数的に多くのリソースを費やす必要があります。

この問題を解決するためのこれまでの試みは、2つの陣営に分かれていました。一つは、すべてを固定サイズのメモリに圧縮するモデル（重要な詳細が失われる）で、もう一つは、より長いコンテキストを総当たり方式で処理しようとするモデル（膨大な計算リソースを必要とする）でした。どちらのアプローチも根本的な問題を解決していませんでした。