LLMにはコンテキストウィンドウと呼ばれるものがあり、これは推論時にモデルの入力に物理的に存在する入力テキストのセグメントです。このコンテキストウィンドウ内のすべては、アテンションメカニズムと呼ばれるコンポーネントからアクセス可能であり、その外側にあるものはモデルにとって存在しません。つまり、モデルには推論呼び出し間で保持される内部状態がなく、各呼び出しは新しいインスタンス化となります。

コンテキストウィンドウには、アクセス可能な履歴全体が表示されます。

黄氏らは2025年に「LLMは人間のようなワーキングメモリを持たない」という論文を発表した。彼は、人間が数字を記憶するように、会話のシーケンス全体を通して内部の数字を外部化（どこかに保存）せずに保持することをモデルに要求する数字推測ゲーム課題を開発した。LLMはこれを系統的に失敗した。情報を外部化せずに内部に保持することはできない。情報がコンテキストウィンドウから出ると、それは消えてしまう。跡形もなく。

これが、思考の連鎖を促す手法が効果的な理由です。モデルに推論の手順を書き出させることで、内部のワーキングメモリの欠如を補う外部の記録を作成することができるのです。

このモデルは中間結果を保持できないため、この手法ではノートを与えて何かを書き留めさせ、書き留めた内容をコンテキストウィンドウに追加入力として再入力することで、モデルがそれを利用できるようにします。これは巧妙なトリックです。