人間のフィードバックによる強化学習（RLHF）を行う前は、モデルのでたらめ度はおよそ0.38でした。RLHFによる最適化後、つまりモデルがユーザーの好みや嫌いを学習した後では、指数はほぼ2倍になり、ユーザー満足度は48%上昇しました。主任研究者のハイメ・フェルナンデス・フィサック氏は、哲学者ハリー・フランクフルトの区別を引用しています。「嘘をつくには、ある真実を信じた上で、その反対のことを言う必要があるが、でたらめは真実に対する純粋な無関心を反映している。つまり、望む反応が得られるなら何でも言うのだ」というものです。