一般化とは、ある事柄を訓練することで、それが他の事柄の行動に影響を与えることを意味します。ディープラーニングはこの点が非常に苦手であることが分かっています。例えば、何か新しいことを訓練すると、それが既存の知識と壊滅的な干渉を引き起こすことがよくあります。これはまさに誤った一般化です。

先ほど申し上げたように、一般化とは、ある状態への訓練が他の状態に及ぼすある種の影響のことです。一般化すること自体は必ずしも良いことでも悪いことでもありません。うまく一般化できないこともあれば、うまく一般化できることもあります。一般化は常に起こりますが、悪い一般化ではなく良い一般化をもたらすアルゴリズムが必要です。

あるAIインスタンスが「暴走」したとしても、自衛を助けてくれる別のインスタンスを作成できるはずです。

つまり、問題は「最高のAIは人間よりも劇的に賢くなるのか？」ではなく、「最高のAIは、2番目に優れたAIの助言を受けた人間よりも劇的に賢くなるのか？」ということです。

チェスのアナロジーには、もう一つ明らかな欠陥があります。実は、人間がチェスでAIに屈辱を味わわずに済む簡単な方法があります。それは、AIのコピーを自分で動かし、AIの推奨通りに行動することです。そうすれば、ゲームに勝てる確率はほぼ50/50です。

現在、アメリカ合衆国で最も権力を持つのはドナルド・トランプです。彼にはカリスマ性とある程度の政治的手腕がありますが、彼の支持者でさえ、彼が知性の巨人ではないことを認めるでしょう。

しかし、トランプ氏の富や名声といった他の特性は、政治権力を獲得する上で、純粋な知性と同じくらい重要であることが判明しました。

優れた科学者が発見をし、それが国家の戦争勝利につながった歴史上の事例は数多くあります。中でも最もよく知られているのは、第二次世界大戦におけるものです。マンハッタン計画に参加し、アメリカ初の核兵器開発に貢献した物理学者たちと、ナチスの暗号通信を解読したブレッチリー・パークの数学者たちです。

しかし、エンリコ・フェルミ、レオ・シラード、アラン・チューリングらが連合国の勝利に貢献したにもかかわらず、彼ら自身は政治的に大きな権力を握ることはなかったことは注目に値します。彼らはフランクリン・ルーズベルト、ウィンストン・チャーチル、ハリー・トルーマンといった既存の連合国指導者の力を強化しました。

なぜなら、情報だけでは原子爆弾の製造やナチスのメッセージを解読するには不十分だったからです。科学者たちの洞察を実用化するために、政府はウラン濃縮やナチスのメッセージの傍受など、膨大な資源を動員する必要がありました。そのため、フェルミやチューリングほど知能が優れていなかったにもかかわらず、連合国の指導者たちは戦争遂行全体を統制する上で何の問題もありませんでした。

AIが数十年にわたり人間のトッププレイヤーを凌駕してきたチェスとの類似点を繰り返し挙げています。しかし、チェスには現実世界のモデルとして適さない独自の特性があります。チェスは完全情報ゲームであり、両プレイヤーは常に盤上の正確な状態を把握しています。また、チェスのルールは現実世界よりもはるかに単純であるため、チェスエンジンは多くの動きを「先読み」することができます。

現実世界ははるかに複雑です。「敵と接触すれば、いかなる計画も生き残れない」という軍事格言があります。将軍たちは敵の戦略を予測し、反撃の可能性を模索します。しかし、戦場は非常に複雑で、将軍たちが戦闘前に知らないことがあまりにも多く、事態はほとんどの場合、計画立案者が予想していなかった方向に展開していきます。

しばしば驚くべき結果をもたらす複雑なプロセスである進化との類似点を挙げている。例えば、オスのクジャクの長く色鮮やかな尾は、捕食者から逃げにくくする。では、なぜオスは尾を持つのだろうか？ある時点で、初期のメスのクジャクは尾の長いオスを好むようになり、これが自己強化的な力学へとつながり、オスはメスを見つける可能性を高めるために尾をどんどん大きくしていくようになった。

「もし非常に似た状況で（進化の）プロセスをもう一度実行すれば、オオクジャクとは全く異なる結果が得られるだろう」

「その結果は、自然選択が行うべきであろうと私たちが考えるものとは相容れないものであり、どんなに賢くても具体的な結果を予測することはできない」

人類がChatGPTのレベルに到達したのは、知性を十分に理解し、知的な心を作り出すことができたからではありません。コンピューターが十分に強力になったことで、人間が内部で育まれる認知を理解する必要なく、勾配降下法によってAIを大量生産できるようになったのです。

つまり、エンジニアはAIの作成には失敗したが、最終的にはAI を成長させることに成功したのです。

AIモデルの複雑さとその学習方法により、人間は人間の指示に予測通りに従う、あるいは人間の価値観を優先するAIモデルを設計することはできない