企業顧客が毎回必ず惹かれるのは、ChatGPTを個人的に使用した経験があり、記憶力があるように感じられるからです。実際、私がChatGPTを手元に置いている唯一の理由もこれです。ハーネスメモリは非常によく開発されており、多くの価値を提供しますが、問題はモデル自体がナノ秒前に何をしたかを記憶していないことです。ニューラルネットワークは、ほぼゼロからセッションを開始し、入力された情報（通常はプロンプトと、ハーネスが意識せずにモデルに提供する何千行もの指示（コンテキスト））で満たされ、セッションが閉じられた瞬間にすべてが消滅します。ニューラルネットワークはステートレスであり、1つのセッション内でも、コンテキストウィンドウが技術的には入力されたすべての情報で満たされている場合でも、モデルは全体に均等に注意を払うわけではありません。長いドキュメントの真ん中に埋もれた情報は、研究者が丁寧に「注意の希釈」と呼ぶもの、私がモデルが斜視になると言うものになります。 QWENで利用できる100万トークンのコンテキストウィンドウは、会議の合間に消去されるホワイトボードのようなもので、会議がまだ続いている間に、誰かがあなたが目を離した隙にホワイトボードの中央3分の1を消去してしまうのです。