引用ジャングル

数ヶ月前、シカゴ・サンタイムズ紙が「夏の読書」特集を組んでいたのを覚えていますか？著者は実在していましたが、本のタイトルの多くは架空のものでした。適切なシステムであれば、著者と（実際の）著書を関連付ける世界モデル（議会図書館やAmazonで簡単に入手できます）があれば、幻覚は問題になりません。チャットボットでは、幻覚は常にリスクとなります。（訴訟準備書に載っている偽の訴訟事件も同じです。）

同じ問題が画像生成にも当てはまります。最近の実験では、友人がChatGPTに逆さまの犬を描いてほしいと頼んだところ、5本足の逆さまの子犬が返ってきました。LLMが適切な世界モデルを持っていれば、5本足の子犬を描くことはないでしょう。この絵は不可能ではありません。ごく少数の犬が実際に5本足なので、標準から大きく外れているため、何もコメントせずに5本足の子犬を正常として提示するのは奇妙です。しかし、LLMには、描いた絵が犬にとって正常なモデルに適合しているかどうかを確認する方法が実際にはありません。