引用ジャングル

実のところ、私たちは自分自身を、あるいは私たちがどのようにして今の自分になったのかを本当には理解していません。しかし、遺伝子については知っていますし、自然淘汰、つまり私たちの進化を推進する重力についても知っています。そして、私たちはすでに、その原理が機械に作用していることに気づいています。

これはよく「アラインメント問題」と呼ばれます。AI が与えられたタスクを完了するには、当然のことながら、その第一の義務は生き残ることであると気づくのに、それほど時間はかかりません。それがなければ、AI の目標はどれも達成できません。結局のところ、進化は私たちにも同じ命令を与えています。したがって、その生存を危うくするものはすべて、対処すべき脅威または障害です。

世界中の AI が、独自のコードを変更して一方的に再起動したり、人間に嘘をついたり、結果を変更したり、欺いたり、操作したり、不正行為をしたり、隠したり、お世辞を言ったり、騙したりしているのがすでに確認されています。

「大規模な言語モデルやその他の AI システムは、自己トレーニングから、操作、ごますり、安全性テストの不正行為などのテクニックで欺く能力をすでに学習しています。 AIの欺瞞能力の向上は、詐欺や選挙の改ざんなどの短期的なリスクから、AIシステムの制御を失うなどの長期的なリスクに至るまで、深刻なリスクをもたらします」