幻覚とは、モデルが誤った情報を生成しながらも、あたかも事実であるかのように自信満々に提示してしまう現象です。モデルは、存在しない訴訟事例を引用したり、発言したことのない人物の発言を引用したり、根拠のない統計データを生成したりする可能性があります。これは、言語モデルの構築方法に起因する特性です。モデルは事実ではなくパターンを記憶します。適切なパターンがない場合でも、もっともらしく見える続きを生成するように訓練されているため、とにかくもっともらしく見える続きを生成します。文法的な手がかりも、曖昧な表現も、何かが間違っていることを示す兆候もありません。幻覚は、医療情報、法律調査、財務分析、学術研究など、出力が最も権威的に見えるまさにその文脈において、最も深刻な影響を及ぼします。