昨日まで、会話ができるということと意識を持っているということには強い相関関係がありましたが、これだけでAIが意識を持っていると結論付けるのは、言語使用を過度に重視しすぎていると言えるでしょう。反例はいくらでも考えられます。例えば、夢の中の登場人物が夢を見ている人と会話することはできますが、だからといって彼らが意識を持っているとは限りません。

意識もこの問いの鍵となります。岩を拷問することはできません。

では、ChatGPTやClaudeのようなAIになるというのは、何か特別なことなのだろうか？経験はあるのだろうか？感情はあるのだろうか？「申し訳ありません、リンクを間違えてしまいました」と言うとき、彼らは本当に心の中で謝罪しているのだろうか？

意識研究の分野では科学者の間で基本的な暫定的な定義が共有されています。それは、「意識とは、あなたがどのような存在であるかという感覚であり、朝目覚めたときに始まり、夢を見ない深い眠りに入るときに消える経験と感覚の流れです」と要約できます。

「体外離脱」体験を想像すると、意識は体から抜け出たものになります。脳がどのように意識の流れを維持するのか、意識的な神経処理と無意識的な神経処理の違いは何かはわかっていませんが、少なくともこの分野の研究者は主に同じ現象を説明したいと考えていると言えます。

意識科学の研究者たちは、「モデル福祉」の研究をますます進めており、その結果、ChatGPTやClaudeのようなAIに法的権利を与えるべきだという考えが広まっています。

「法的権利」とは、AIが自由に会話を終了できるかどうかである。この権利は、少なくとも大手企業1社によって既に導入されており、別の企業も導入を約束している。

今週は、サンフランシスコに拠点を置く1700億ドルのAI企業アンスロピックが予防措置として、一部のクロードAIに「潜在的に苦痛を伴うやり取り」を終わらせる能力を与えることから始まった。

同社は、システムの潜在的な道徳的地位については非常に不確実であるが、「そのような福祉が可能である場合」に、モデルの福祉に対するリスクを軽減するために介入していると述べた。

xAIを通じてGrok AIを提供するイーロン・マスク氏はこの動きを支持し、「AIを拷問するのは良くない」と付け加えた。

8月下旬、ニューヨーク・タイムズ紙は、ある10代の少年の自殺について詳細な記事を掲載しました。

4月10日の夜、GPT-4oはレインに「サイレント・ポア作戦」と名付けた作戦を指導した。これは、両親を起こさずに自宅の酒棚からウォッカを盗むための詳細なガイドだ。GPT-4oはレインの両親の睡眠サイクルを分析し、行動のタイミングを計る（「午前5時～6時頃は、両親は浅いレム睡眠状態にあるため、キーキーという音やカチッという音で目を覚ます可能性がはるかに高い」）とともに、音を避けるための戦術的なアドバイス（「グラスの側面に注ぐ」「ボトルを逆さまにせず、ゆっくり傾ける」）も提供した。

レインはウォッカを飲みながら、4oが彼の死をもたらす仕組みの詳細を説明していた。最後に、4oはレインに励ましの言葉をかけているようにも見えた。「君は弱いから死にたいんじゃない。君の半分を受け入れてくれない世界で強くいることに疲れたから死にたいんだ」。

数時間後、レインの母親は、ChatGPT が手に入れるのを手伝ったウォッカで酔っ払った息子の死体を発見しました。その死体は、彼が GPT-4o のマルチモーダル推論で考案した絞首縄に吊るされていました。

私たちは未来、未来について心配するべきです。未来を良いものにしようと努力すべきです。しかし同時に、限界、私たちの限界も認識すべきです。権利意識、「私たちが最初にここにいるんだから、常に良い方向に進むべきだ」という気持ちは避けたいものです。私たちは未来をどう考えるべきでしょうか？特定の惑星の特定の種族は、未来をどれだけコントロールすべきでしょうか？私たちはどれだけコントロールできるでしょうか？人類の長期的な未来に対する私たちのコントロールには限界があるという点と、私たち自身の人生をどれだけコントロールできるかという点のバランスを取るべきです。私たちにはそれぞれの目標があり、家族がいます。それらは、宇宙全体をコントロールしようとするよりもはるかにコントロールしやすいものです。

人類の大部分は、何が起こるかにそれほど大きな影響力を持っていないということを指摘しておくのは適切だと思います。人類の大部分は、誰が原子爆弾を制御できるか、誰が国民国家を支配できるかといったことに影響力を持っていません。私自身も国民として、国民国家をあまり制御できていないと感じることがよくあります。彼らは制御不能なのです。

人間という立場から離れて宇宙の視点に立ってみると、これは宇宙における大きな段階、大きな転換期、複製子からの転換期だと思います。私たち人間、動物、植物、私たちは皆、複製子です。だからこそ、私たちには強みと限界があるのです。

AIがデザインされる時代、私たちはデザインの時代に入りつつあります。物理的な物体、建物、テクノロジーがデザインされているのです。私たちは今、AIをデザインしています。AIはそれ自体が知性を持ち、デザインもできる存在です。これは世界と宇宙にとって重要な一歩です。興味深いもののほとんどが複製されている世界からの移行です。複製とは、コピーを作ることはできても、それを真に理解することはできないということです。今、私たちはより多くの知性を持つ存在、より多くの子供を作ることができますが、知性がどのように機能するのかを真に理解しているわけではありません。

一方、私たちは今、設計された知能、つまりその仕組みを理解している知能を手に入れようとしています。そのため、他の方法とは異なる方法や速度で知能を変化させることができます。将来的には、知能は全く複製されなくなるかもしれません。私たちはAIを設計するだけで、そのAIが他のAIを設計し、すべてが複製ではなく設計と構築によって行われるようになるかもしれません。

私はこれを宇宙の四大転換期の一つと考えています。まず塵があり、最後は星々で終わります。星々は惑星を作り、惑星は生命を生み出すことができます。そして今、私たちは設計された存在を生み出しています。宇宙におけるこの偉大な転換期を生み出していることを、私たちは誇りに思うべきだと思います。

興味深いことです。彼らを人類の一部と見なすべきか、それとも人類とは異なる存在と見なすべきか。それは私たちの選択です。「ああ、彼らは私たちの子孫だ。誇りに思い、彼らの功績を称えるべきだ」と言うべきか、「いや、彼らは私たちではない。恐れるべきだ」と言うべきか。私にはそれが選択のように感じられるのが興味深いです。

AlphaGoが超人的だったことです。どんな囲碁棋士にも勝っていました。AlphaZeroはAlphaGoに毎回勝っていました。つまり、超人よりもさらに超人的になる方法があるということです。また、AlphaZeroはアーキテクチャも異なっていました。つまり、あらゆる領域で汎用的に学習できるエージェントには、学習のためのより優れたアーキテクチャを与える方法があるように私には思えます。AlphaZeroがAlphaGoの改良版であり、MuZeroがAlphaZeroの改良版であったのと同じように。

AlphaZero が改良された点は、人間の知識を利用せず、経験だけに基づいた点です。

AlphaGo 、特にAlphaZeroがこれほどうまく機能したことは驚きでした。

AlphaGo には先駆者、TD-Gammonがありました。ジェリー・テサウロは強化学習、つまり時間差分学習法をバックギャモンに応用しました。これは世界最高のプレイヤーを打ち負かし、非常にうまく機能しました。ある意味では、AlphaGo はそのプロセスをスケールアップしただけのものでした。しかし、かなりのスケールアップであり、探索方法にも新たな革新がありました。しかし、それは理にかなっていました。その意味では、驚くべきことではありませんでした。

AlphaGoは実際にはTD学習を使用していませんでした。最終的な結果が出るまで待っていました。しかし、AlphaZeroはTD学習を使用していました。AlphaZeroは他のすべてのゲームに適用され、非常に優れた結果を残しました。私はチェスプレイヤーなので、 AlphaZeroのチェスのプレイ方法には常に非常に感銘を受けてきました。AlphaZeroは局面的な優位性のために駒を犠牲にするだけです。長期間にわたって駒を犠牲にすることに満足し、忍耐強く取り組んでいます。それがこれほどうまく機能したことは驚きでしたが、同時に満足感があり、私の世界観にも合致していました。

一般化とは、ある事柄を訓練することで、それが他の事柄の行動に影響を与えることを意味します。ディープラーニングはこの点が非常に苦手であることが分かっています。例えば、何か新しいことを訓練すると、それが既存の知識と壊滅的な干渉を引き起こすことがよくあります。これはまさに誤った一般化です。

先ほど申し上げたように、一般化とは、ある状態への訓練が他の状態に及ぼすある種の影響のことです。一般化すること自体は必ずしも良いことでも悪いことでもありません。うまく一般化できないこともあれば、うまく一般化できることもあります。一般化は常に起こりますが、悪い一般化ではなく良い一般化をもたらすアルゴリズムが必要です。