引用ジャングル

人間は実は記憶力がそれほど得意ではないのですが、これは実は特徴の一つです。記憶力がそれほど得意ではないため、より一般的な意味でパターンを見つけざるを得ないのです。

それに比べて、LLMは記憶力が非常に優れています。あらゆるトレーニングソースから文章を暗唱します。全く意味のないデータを与えても構いません。ある程度のテキストをハッシュ化したり、それに類するものを与えれば、完全にランダムなシーケンスが得られます。それを1、2回繰り返してトレーニングするだけで、LLMは突然そのシーケンス全体を暗唱できるようになります。つまり、記憶してしまうのです。人間がランダムな数字のシーケンスを1つだけ読んで、それを暗唱することは不可能です。