チャットボットがミスを犯した。あなたがそれを指摘すると、チャットボットは「おっしゃる通りです。申し訳ありません。もっと注意すべきでした」と答える。あなたは安心し、その後も同じように使い続ける。

チャットボットは、チャットが終了するとエラーの記憶を一切保持しません。「～すべきだった」という概念もありません。謝罪のような言葉を生成したのは、学習データにおいて「あなたは間違っています」の後に続く言葉が謝罪のような言葉だったからです。そこには、受け入れるべき反省の念はありません。謝罪は単なる音であり、約束ではありません。