もう 1 つ興味深い点があります。それは、これらのシステムは何でできているかということです。コードでできています。つまり、50 年以上前に SF で語られたような再帰的な自己改善が実現しているのです。これは、シンギュラリティのようなものにつながる可能性があり、自己改善するシステムが得られ、さらにその速度がどんどん速くなります。このような急速な発展を遂げるかどうかはわかりませんが、大手 AI 企業の人たちに話を聞くと、彼らは現在、LLM やコーディング ツールを多用して、次世代の大規模言語モデルを作成するために使用する大量のコードを生成していることがわかります。

彼らがコーディングに非常に長けていることがわかったのは、ある意味偶然でした。彼らを訓練する方法は、インターネットやウェブからあらゆるデータを集め、それをすべてそこにかき集めるというものでした。そして、インターネット上には相当量のコードがあることがわかりました。そして、これらのシステムはコードを完成させて理解することを学びます。それを効果的に行うには、コードのロジックを理解する必要があります。そして、これらのニューラル ネットはそこでパターンを見つけ、コーディングを非常に上手に行うことができました。それが彼らが最も得意とすることの 1 つです。ですから、私たちのコーディングの仕事は、いわば炭鉱のカナリアのようなものなのです。

これは一種の超強力なオートコレクト機能だと言う友人がいます。非常に多くの仕事、かつては高度なスキルと高給を要した仕事も、基本的には超強力なオートコレクト機能のようなものだということです。

デミス・ハサビス氏と話をしました。彼は Google DeepMind の創設者で、数か月前にノーベル賞を受賞しました。彼は 10 代の頃からずっとこの研究に取り組んできました。彼は LLM (大規模言語モデル) がうまく機能していることを知ったとき、実は少しがっかりしたと言っていました。人間の知能に匹敵するにはそれ以上の時間がかかると思っていたからです。そして彼は、「おそらく私たちの多くがやっていることは超強力な自動補完であり、それを使って多くのことを成し遂げることができる」と言っていました。

「これを知性と呼べるか？理解と呼べるか？」と彼は考えます。そして、そう呼んでも問題ないと考えています。これらのシステムは基本的に、知的な人間が答えるのと同じように質問に答えます。時には少し良く、時には少し悪く答えます。そして、それが本当の理解であるかどうかについては哲学的な議論があると思います。しかし、問題を解決すること、この科学的プロセスの次のステップが何であるかを実際に理解すること、またはこのミステリー小説で誰が殺人を犯したかを理解すること、小さなパズルを解くこと、またはクリミア戦争についてある程度一貫したエッセイを書くことに関しては、それらは可能です。だから、私はそれを知性と呼んでも構わないと思います。

大規模な言語モデルや他の種類のニューラル ネットを実行するには、大量の行列乗算を行う必要があります。そして、これらの GPU はたまたま行列乗算が非常に得意なので、基盤となる回路がそれほど小さくなっていなくても、それを利用できました。

私は実際に行列の乗算が何であるかを知っています。2 つの大きな数値配列があり、それらはほぼ一致するサイズでなければなりません。そして、それらを乗算して 3 番目の配列を作成するプロセスがあります。これは PageRank のようなもので、検索エンジンが何が重要であるかを判断するための元の方法です。

歴史の面白いところは、GPU (グラフィック プロセッシング ユニット) が最初に画面に画像をレンダリングするために使用されたことです。そのためには、大量の行列乗算を行う必要があります。その後、Andrew Ng のような人が、ちょっと待って、これをニューラル ネットにも使用できることに気付きました。コードを少し変更するだけで、桁違いの処理能力を活用できるようになりました。現在では、ニューラル ネット専用の GPU が作られていますが、当初は用途を変えて使用していました。

ムーアの法則とは、何だったでしょうか?

当初は 18 か月ごとに 2 倍になっていましたが、その後 2 年ごとに 2 倍になるように修正されました。これは、約 50 年間続いているコンピューター能力の指数関数的な向上のようなものです。

チップ 1 個が 2 年ごとに 2 倍になるとすると、20 年で 1,000 倍になります。驚くほど安定していました。

すでに、AIを導入した企業がコールセンター、ソフトウェアコーディング、営業などで目に見える成果を上げ始めている兆しが見え始めている。さまざまな社内の大規模言語モデルで、AIから大きな利益を得始めている。それが経済全体に広まるにつれ、生産性に関して予想外の上振れが起こるだろうと思う。

1990年代半ばにAmazonがオンライン販売を開始したとき、翌日にはみんながデジタルで買い物をするようになったわけではありません。それから25～30年経った今になって、多くの分野でデジタルコマースが従来のコマースを上回り始めていますが、クラウドインフラストラクチャも登場しています。そして最も重要なのは、ごく最近、AIとエージェントベースのシステムが、現在起こっていることの多くを自動化し、拡張し始めていることです。

富裕国では、貧困国や中所得国に比べて、デジタル商品から得られる総福祉の割合が相対的に小さいことが分かりました。つまり、メキシコやブラジルでは、総福祉に占めるデジタル商品の割合が実際は大きいのです。よく考えてみると、なんとなく納得できました。貧乏な人は、キャビアやロールスロイス、テレビに大金を使うことはありません。無料のものにもっとお金を使うでしょう。ほとんどの人が持っているスマートフォンさえ持っていれば、他の人と同じように無料で消費できます。ですから、結局、デジタル商品が福祉に占める割合は相対的に大きくなるのです。

ハーバード大学の学生2人が最近、 Metaスマートグラスと顔画像検索技術を組み合わせることで、「ただ見るだけで」名前、住所、電話番号などの個人情報を明らかにすることが可能だと明らかにした。

 Google のドキュメントで、Meta Ray Bans 2 をPimEyes と呼ばれる侵入型顔検索エンジンにリンクさせ、さまざまな人物検索データベースで情報を横断検索することで見知らぬ人を特定できるようにした方法について説明しました。次に、大規模言語モデル (LLM) を使用してすべてのデータを迅速に組み合わせ、一目見ただけで個人情報を開示したり、数秒で誰かを騙すための情報を表面化させたり、その他の悪質な使用方法 (「電車の中で女の子の住所を見つけて、家まで尾行する」など) を可能にしたりできる。