先週、アンスロピックのCEO、ダリオ・アモデイ氏はAIについて「比較的楽観的」だと自称した。しかし、事態が「極めて悪化する可能性は25％」あるとも述べた。アモデイ氏が懸念するリスクの一つは、「モデルの自律性への危険性」だ。

2023年のインタビューで、OpenAIのCEOであるサム・アルトマン氏はさらに率直に、最悪のシナリオは「私たち全員にとっての終焉」だと述べた。

こうした懸念を最も強く提起したのは、合理主義の虻のようなエリエゼル・ユドコウスキー氏だろう。「誰かがそれを作れば、誰もが死ぬ」。ユドコウスキー氏は、もし誰かが超知能AIを発明すれば、それが世界を支配し、人類を滅ぼすだろうと考えている。

継続的な学習はほとんどの哺乳類が持つ能力であるという、非常に興味深い指摘だと思います。おそらくすべての哺乳類が持っているのでしょう。すべての哺乳類が持っている能力を人間が持っているのに、AIシステムが持っていないというのは、実に興味深いことです。一方、数学を理解し、難しい数学の問題を解く能力（数学の定義にもよりますが）は、AIが持つ能力ですが、ほとんどの動物は持っていません。何が最終的に難しく、何が最終的に簡単になるかは、実に興味深いことです。

例えば、北極圏に住んでいると、アザラシを狩る方法を論理的に考えることは不可能です。餌の作り方、アザラシの見つけ方、そして毒に侵されないよう餌を加工する方法など、非常に多くの段階を踏む長いプロセスがあります。その全てを論理的に考えることは不可能です。時が経つにつれ、どんなアナロジーを使っても構いませんが、より大きなプロセス（現実世界、あるいは他の何か）を経て、文化全体がアザラシを見つけ、殺し、食べる方法を見つけ出してきたのです。

彼の見解では、この知識が世代を超えて伝承される際に起こるのは、その技術を学ぶために年長者の真似をしなければならないということだ。アザラシを狩り、殺し、処理する方法を自分で考え抜くことはできない。他の人のやり方を観察し、微調整や調整を加えることで、知識が蓄積される。文化的獲得の最初のステップは模倣であるべきだ。

私たちは知能を再現しようとしています。人間が月に行ったり半導体を製造したりできる理由を理解したいのであれば、私たちが理解したいのは、それがなぜ可能になるのかということです。動物は月に行ったり半導体を製造したりできません。私たちは、人間を特別なものにしているものは何なのかを理解したいのです。

教師あり学習は自然界では起こりません。たとえ学校で起こったとしても、それは人間に起こる特別な現象なので、忘れるべきです。自然界では広く起こりません。リスは学校に通いません。リスは世界のあらゆることを学ぶことができます。動物では教師あり学習が行われていないことは、全く明白だと思います。

ゲーセンは毎日ＵＦＯキャッチャーに入れられた金額を見て損をしないようにアームの強さやツメを調節します。
だから高いものだと、明らかに持ち上がらないような詐欺的アームの弱さにして、お客さんがたくさんやってくれて元をとってから放出します（１～２回で取れるように調整する）。
人気商品は稼がせてもらうために最初はほとんど取れないんです。

私にとって、目標を持つことが知性の本質です。目標を達成できるものこそが知的です。ジョン・マッカーシーの定義、「知性とは目標を達成する能力の計算的部分である」は素晴らしいと思います。目標がなければ、ただの振る舞いをするシステムでしかありません。特別な存在ではなく、知的でもないのです。

人の言葉を真似ることは、実際には世界のモデルを構築することには全くなりません。あなたが真似しているのは、世界のモデルを持つもの、つまり人間です。敵対的なアプローチをしたくはありませんが、人間が世界モデルを持っているという考えには疑問を感じます。世界モデルがあれば、何が起こるかを予測できます。人間は、人が何を言うかを予測する能力を持っています。しかし、何が起こるかを予測する能力はありません。

知能とは何か？問題は、自分の世界を理解することです。強化学習は自分の世界を理解することですが、大規模言語モデルは人間の真似をし、人間が言うべきことを実行することです。何をすべきかを考えることではありません。