引用ジャングル

最も憂慮すべき側面は、超知能が（潜在的に）自己改善する能力である。私たち人間は、数千年というタイムスケールで進化する脳という与えられたハードウェアに縛られている。しかしAIは、自身のコードを繰り返し書き換え、より優れたアルゴリズムを設計し、さらには自分自身のために新しいハードウェアを設計することもできる。これは知能の正のフィードバックループであり、賢くなるにつれて、さらに自分自身を賢くする能力が上がる。英国の数学者IJグッドは1965年に「知能爆発」というアイデアを述べた際に、これを予見していた。グッドは、人間よりほんの少し賢い機械を作ると、その機械は自分自身を再設計し始め、あっという間に考えられないレベルの知能にまで達する可能性があると指摘した。

「最初の超知能機械は、人類が作らなければならない最後の発明である」とグッド氏は書いている。なぜなら、その機械はその後、他のあらゆるものを発明することができるからだ。

この再帰的な自己改善は、地球の重力から脱出するロケットによく例えられます。AIが一定の能力閾値（脱出速度）を超えると、止められない勢いで超知能へと加速していきます。このプロセスは、私たちの視点から見ると、何世紀にもわたる進歩を数時間、あるいは数日に圧縮するかもしれません。