今後数年間は、情報の価格が劇的に下がるため、興味深い時代が訪れるでしょう。

インターネットブームから学んだことの1つは、素晴らしいテクノロジーが必ずしも素晴らしい利益を意味するわけではないということです。

巨大なデータセンターには膨大な量の電力が必要です。そのため、原子力発電所が再稼働しています。スリーマイル島も再稼働しています。新しい小型原子炉が建設されています。太陽光発電をますます増やそうとしています。そうでなければおそらく稼働しなかったであろう石炭火力発電所や石油発電所を稼働させています。そのため、環境に悪影響を及ぼしています。エリック・シュミット氏のような一部の人々は、「そうですね。確かにコストはかかります。しかし、環境問題を解決したいのであれば、より多くのインテリジェンスが必要です。長期的には、この追加のインテリジェンスを活用して、より優れたソーラーパネルや、すべての産業プロセスのためのより優れたプロセスを開発する方が良いでしょう。そして、最終的に、この問題に対処する方法は、より多くのインテリジェンスを持つことです」と述べています。

Web 上のコンテンツのほとんどがシステムによって生成されるようになったら、システムは自分自身から学ぶことができるでしょうか。こうしたシステムを開発している人たちと話をすると、彼らの多くは、合成データを使ってモデルをトレーニングし、チェス ゲームや囲碁のゲーム、さらにはエッセイまでも作成できると驚くほど楽観的です。実際、コーディングはモデルをさらに改善するために実行できる方法の 1 つです。モデルにパズルを書かせて、それを解かせると、モデル自体が改善されます。合成データでどこまでできるかはこれからですが、ワールド ワイド ウェブ上のすべてのデータをこれらのモデルに取り込むことがほぼ完了しているので、これは滑走路を延長する可能性のある方法かもしれません。そのため、データや改善のための別のソースが必要です。そして、彼らが取り組んでいるのは合成データです。

これらのプログラムを自分で検索すれば、私や他の誰かが書いたものではない、私の作品とされている興味深い論文がたくさんあることに気づくでしょう。そして、これらのモデルによって生成されるデータが増えるにつれて、自己複製するゴミのループに陥り始めるという、自らのゴミで窒息するというシナリオもあります。

もう 1 つ興味深い点があります。それは、これらのシステムは何でできているかということです。コードでできています。つまり、50 年以上前に SF で語られたような再帰的な自己改善が実現しているのです。これは、シンギュラリティのようなものにつながる可能性があり、自己改善するシステムが得られ、さらにその速度がどんどん速くなります。このような急速な発展を遂げるかどうかはわかりませんが、大手 AI 企業の人たちに話を聞くと、彼らは現在、LLM やコーディング ツールを多用して、次世代の大規模言語モデルを作成するために使用する大量のコードを生成していることがわかります。

彼らがコーディングに非常に長けていることがわかったのは、ある意味偶然でした。彼らを訓練する方法は、インターネットやウェブからあらゆるデータを集め、それをすべてそこにかき集めるというものでした。そして、インターネット上には相当量のコードがあることがわかりました。そして、これらのシステムはコードを完成させて理解することを学びます。それを効果的に行うには、コードのロジックを理解する必要があります。そして、これらのニューラル ネットはそこでパターンを見つけ、コーディングを非常に上手に行うことができました。それが彼らが最も得意とすることの 1 つです。ですから、私たちのコーディングの仕事は、いわば炭鉱のカナリアのようなものなのです。

これは一種の超強力なオートコレクト機能だと言う友人がいます。非常に多くの仕事、かつては高度なスキルと高給を要した仕事も、基本的には超強力なオートコレクト機能のようなものだということです。

デミス・ハサビス氏と話をしました。彼は Google DeepMind の創設者で、数か月前にノーベル賞を受賞しました。彼は 10 代の頃からずっとこの研究に取り組んできました。彼は LLM (大規模言語モデル) がうまく機能していることを知ったとき、実は少しがっかりしたと言っていました。人間の知能に匹敵するにはそれ以上の時間がかかると思っていたからです。そして彼は、「おそらく私たちの多くがやっていることは超強力な自動補完であり、それを使って多くのことを成し遂げることができる」と言っていました。

「これを知性と呼べるか？理解と呼べるか？」と彼は考えます。そして、そう呼んでも問題ないと考えています。これらのシステムは基本的に、知的な人間が答えるのと同じように質問に答えます。時には少し良く、時には少し悪く答えます。そして、それが本当の理解であるかどうかについては哲学的な議論があると思います。しかし、問題を解決すること、この科学的プロセスの次のステップが何であるかを実際に理解すること、またはこのミステリー小説で誰が殺人を犯したかを理解すること、小さなパズルを解くこと、またはクリミア戦争についてある程度一貫したエッセイを書くことに関しては、それらは可能です。だから、私はそれを知性と呼んでも構わないと思います。

大規模な言語モデルや他の種類のニューラル ネットを実行するには、大量の行列乗算を行う必要があります。そして、これらの GPU はたまたま行列乗算が非常に得意なので、基盤となる回路がそれほど小さくなっていなくても、それを利用できました。

私は実際に行列の乗算が何であるかを知っています。2 つの大きな数値配列があり、それらはほぼ一致するサイズでなければなりません。そして、それらを乗算して 3 番目の配列を作成するプロセスがあります。これは PageRank のようなもので、検索エンジンが何が重要であるかを判断するための元の方法です。

歴史の面白いところは、GPU (グラフィック プロセッシング ユニット) が最初に画面に画像をレンダリングするために使用されたことです。そのためには、大量の行列乗算を行う必要があります。その後、Andrew Ng のような人が、ちょっと待って、これをニューラル ネットにも使用できることに気付きました。コードを少し変更するだけで、桁違いの処理能力を活用できるようになりました。現在では、ニューラル ネット専用の GPU が作られていますが、当初は用途を変えて使用していました。

ムーアの法則とは、何だったでしょうか?

当初は 18 か月ごとに 2 倍になっていましたが、その後 2 年ごとに 2 倍になるように修正されました。これは、約 50 年間続いているコンピューター能力の指数関数的な向上のようなものです。

チップ 1 個が 2 年ごとに 2 倍になるとすると、20 年で 1,000 倍になります。驚くほど安定していました。