引用ジャングル

LLM は 1 つのトークンだけを生成するのではなく、各トークンの後に、元の文全体と新しいトークン を見て、その次のトークンを予測し、その文全体と次のトークンを使用して予測を行うというように繰り返します。列車の車両のように、1 つのトークンが別のトークンに連鎖します。

現在の LLM は、前のトークンに戻って変更することはできず、単語を次から次へと追加して頑張らなければなりません。この結果、バタフライ効果が発生します。

これは、まったく同じ質問をしたとしても、同じ AI を使用している他の人とはまったく異なる回答が得られる理由を説明するのに役立ちます。確率のわずかな違いが、まったく異なる回答をもたらします。