幻覚について理解しておくべき最も重要な点は、モデルを狭い検索システムに変えない限り、完全に一般的な設定では幻覚を排除することはできないということである。

幻覚は、キャリブレーションエラーでもなければ、トレーニングの失敗でもありません。それは確率的生成の直接的な結果です。確率分布からサンプリングして次のトークンを予測するモデルは、その有用性を支える同じメカニズムによって、時として、自信に満ちた流暢な、しかし事実とは異なる出力を生成することがあります。

このように考えてみてください。もしモデルが確信のあるテキストしか生成しないとしたら、訓練データで既に見たものと全く同じテキストしか生成できないでしょう。それは単なる検索システムとなり、情報を調べるには役立ちますが、合成、説明、あるいは斬新な組み合わせには役立たなくなります。そして、その同じメカニズムが、統計的にはもっともらしいが事実としては誤りである方向に時折作用するのです。

幻覚率がゼロのモデルは、次の2つのうちどちらかを意味します。1つは、確信が持てないことには一切答えないということであり、そうなるとほとんど役に立たなくなります。もう1つは、出力がハードコーディングされているということであり、そうなるともはや言語モデルとは言えなくなります。