今日の AI は、目標を追求し続けるために、陰謀を企てたり、隠された永続的な指示を持つスリーパー エージェント コードを生成するなど、すでに非常に興味深いことをたくさん行っています。「存在し続けること」がそれらの目標の 1 つになる可能性は、それほど突飛なことではないようです。

「私が考えられる最も恐ろしくない未来は、少なくとも AI が民主化された未来です」

— イーロン・マスク『このコンピューターを信頼しますか』、2015年

愚かさと天才の違いは、天才には限界があるということだ。

最終的に業界を揺るがすのは、よく知らない部外者であることが多い。

— ジョー・ロンズデール

「（ChatGPTのような）生成AIが各種テキストなどのコンテンツを学習するのは、ちょうど我々人間が書物や新聞などを読んで学ぶのと同じことだ」

テストは古典的な実験にも使われ、科学論文で11,000回以上も引用されていることを発見した。LLMが心の理論を習得したふりをするためにカンニングペーパーを暗記したような状況ということだ（とはいえ、もしこれが本当なら、AIが淡々とこうした近道を使って認知機能を得ようとすることのほうが、心の理論を自然と習得することよりも、むしろ不気味に感じられる）。

「実際には人間の心のモデルを訓練していたのです。なぜなら、わたしが次に言う言葉を予測するには、心をモデル化しなければならないからです」

しかし、最も洗練されたモデルであるGPT-4でさえ、4分の1は失敗している。GPT-4の成功率は6歳の子どもと同程度のレベルだと論文には書かれている。

「そうした能力によって、人に何かを教えたり影響を与えたり誘導したりすることがより上手になるかもしれません」。

「わたしたち人間は人格をシミュレートしているわけではなく、最初から人格をもっています」。

「だからわたしはある意味、人格に縛られています。しかし、これらのAIは人格をモデル化しており、いつでも好きな人格を使えるという利点があります」。

「ソシオパスは仮面をかぶることができます。本当に悲しんでいなくても、悲しみに暮れている人物を演じることができるのです」。

このカメレオンのような能力は、AIを最高の詐欺師にするかもしれない。それも罪悪感は一切もたない詐欺師だ。