「将来、AIによってパンデミックを引き起こすウイルスを研究室で開発することが容易になる可能性はある」

「しかし、そのようなウイルスを研究室で作ることはすでに可能だ。入手可能な証拠に基づくと、COVIDの研究室漏洩説は依然妥当性がある」

ハッカーたちは、ソフトウェア コード内のバグを手動で検索するよりもはるかに高速で使いやすいバグ検出 AI ツールを長い間使用してきました。

それでも世界は終わっていません。なぜでしょうか? 防御側も同じツールにアクセスできるという単純な理由からです。重要なソフトウェアのほとんどは、導入前に開発者や研究者によって脆弱性が徹底的にテストされています。実際、バグ検出ツールの開発は主にハッカーではなく、数十億ドル規模の情報セキュリティ業界によって行われています。総合的に見て、ソフトウェアの欠陥を見つけるための AI の利用可能性はセキュリティを悪化させるのではなく、向上させています。

自動化されたバグ検出方法が改善し続けても、防御側が攻撃側に対して優位に立つことは間違いありません。

悲観論者は、AI システムの大半が一方側に、人間の大半が他方側にいるという紛争を思い描いています。しかし、物事がそのようにうまくいくと期待する理由はほとんどありません。たとえ一部の AI システムが最終的に「暴走」したとしても、人間は自衛に使用できる AI システムを持っている可能性が高いです。

「問題の核心は、AI がすでに人間をより強力にしており、AI の能力が向上するにつれてこの傾向が続くということだ」

「人間は、人類を滅ぼす超知能という恐怖が呼び起こす『超知能』の存在だ。AI が単独で行動したり、その作成者に反抗したりすることが、将来、AI の助けを借りて行動する人間よりも有能になると考える理由はない」

「人間が強力であるのは、主に脳のおかげではなく、テクノロジーのおかげです」

「先史時代の人間は、環境を形成する能力が動物よりわずかに優れていただけです」

「人間の知識のほとんどは暗黙のものであり、体系化することはできません」

「ある程度を超えると、能力の向上には、人々との実際のやり取りから長期間にわたって学習する必要があります。最も貴重で価値のある人間の知識の多くは、薬物検査から税制政策に至るまで、人々を対象とした実験から得られます」

自動運転車を例に挙げる。初期の頃、こうした車両は急速に進歩したように見えた。2010年代後半までには、多くの企業が基本的な自動運転機能を備えた試作車両を製造していた。

しかし、最近では「専門家が当初予想していたよりもはるかに進歩が遅い。これは、現実世界のインタラクション データを収集して学習することの難しさを過小評価していたためだ」と書いている。

自動運転車は、実際の公道で試行錯誤して発見しなければならない「エッジ ケース」の長いリストに対処しなければならない。ウェイモがフェニックスで最初の無人タクシー サービスを開始するのに十分な進歩を遂げるまでに 10 年以上かかった。そしてウェイモの車でさえ、今でも時々遠隔オペレーターの支援に頼っている。

「敵と接触したらどんな計画も生き残れない」という有名な軍事格言があります。世界は複雑で、軍事計画者は常に不完全で不正確な情報に基づいて作業しています。戦闘が始まると、彼らは必然的にいくつかの仮定が間違っていたことに気づき、戦闘は予想外の展開を迎えます。

トーマス・エジソンは、同様の考えを表現した「天才とは、1 パーセントのひらめきと 99 パーセントの努力である」という格言を残しました。エジソンは、彼の最も有名な発明である電球のフィラメントに適した材料を見つけるために、1,600 種類の異なる材料を試しました。

「私は人生でアイデアを思いついたことがない」とエジソンはかつて言った。「私のいわゆる発明は、すでに環境の中に存在していたもので、私がそれを取り出したのです。私は何も生み出していません。誰も生み出しません。頭から生まれるアイデアなどありません。すべては外部からやってくるのです」

過去 15 年間、AI 企業はインターネットから収集された膨大なデータの恩恵を受けてきました。これにより、GPT-4o や Claude 3.5 Sonnet などの幅広く高性能なモデルの作成が可能になりました。しかし、幅広いタスクで人間レベルの能力に到達するには、さらなる進歩が必要です。そして、それにはより多くのデータが必要になるだけでなく、AI 企業がこれまで使用してきたものとは異なる種類のデータが必要になります。

2020年2月には、1日に感染者が数人しかいないように見えたため、多くの人がCOVIDを軽視していた。しかし、複利成長の力により、3月末までに毎日何千人もの人が感染するようになった。

したがって、AI システムが「AGI を達成」した瞬間に突然の変化が起こることはないかもしれません。しかし、計算能力が飛躍的に向上し、人間よりもはるかに優れた AI システムが生まれることは期待できます。

AI システムの性能を高めるために必要なのが、より優れたアルゴリズムとより高い計算能力だけであれば、それは妥当な仮定かもしれません。しかし、データはあらゆる AI システムにとって 3 番目に不可欠な要素です。そして、計算能力とは異なり、データは代替可能ではありません。ロケットを設計する AI モデルが必要な場合は、ロケットに関するトレーニング データが必要です。フランス文学や昆虫学に関するデータは役に立ちません。

ソフトウェア産業の黎明期には、プログラマーはソフトウェアをバイナリ コードで記述する必要がありました。これは面倒でエラーが発生しやすいプロセスであり、複雑なプログラムを書くのが困難でした。その後、この面倒な作業の多くを自動化するコンパイラーと呼ばれるソフトウェアが開発されました。プログラマーは COBOL や Fortran などの高級言語でプログラムを書くことができ、コンピューターはそれらのプログラムを 1 と 0 のマシン コードに自動的に変換します。

数十年にわたり、プログラマーはソフトウェア開発プロセスを自動化するための強力なツールを開発してきました。たとえば、Amazon Web Services などのクラウド コンピューティング プラットフォームでは、プログラマーは数回のクリックで新しいサーバーをセットアップできます。このプロセスは、以前は何時間もかかっていました。

「開発パイプラインがすでに高度に自動化されていなければ、AI の歴史において現在の段階に到達することはできなかったでしょう」

「生成 AI はこれをさらに一歩進め、不完全ではあるものの、プログラマーのアイデアを英語 (または他の人間の言語) からコンピューター コードに変換します」

タレブの反脆弱性理論を思い出さずにはいられませんでした。西洋は、その多様な地理とそれに対する多種多様な脅威のために、より反脆弱性があったようです。一方、中国はより大きく、より組織化されていましたが、その地理的統一性と遊牧民からの脅威の単一性のために、最終的には頻繁に（100年ごと、時にはそれ以上に）ブラックスワンの影響を受けやすかったようです。