AIとその危険性に関する一般論や学術的な議論の多くは、AIが既存のリスクや懸念をどのように悪化させるかに焦点を当てています。例えば、誤情報、プライバシー、あるいは意思決定システムがいかにして疎外された集団に対する偏見を永続させているかといった問題です。これらは真剣に検討する価値のある重要な議論です。しかし、もしこれらだけが議論の対象になっているのであれば、あまりにも保守的です。AIを既存の社会構造に限定され、現在の問題を悪化させる可能性はあっても、現実を根本的に変えるものではない技術として扱っています。

しかし、AIは単なる技術の一つではなく、これまでもそうであったことはありません。20世紀半ばに本格的な科学技術プロジェクトとして誕生して以来、AIは常に革命的な目標を掲げてきました。それは、最も賢い人間と同等の知性を持つだけでなく、人間の最も優れた知的・行動的能力のすべてに匹敵するだけでなく、はるかに賢い機械、つまり「超知能」あるいは「超知能」を持つ機械を作ることです。

しかし、この枠組みでさえ、このプロジェクトの革命的な本質を過小評価している。なぜなら、人間の知性を基準としているからだ。しかし、人間はアフリカの類人猿の一種に過ぎない。知能の可能性は想像を絶するほど広大で、その多くは私たちが想像もできない能力と結びついている。私たちはこの領域の探究を始めたばかりなのだ。