今日、AI で置き換えられる仕事は何でしょうか。最近の良い例は、放射線科医はもはや仕事ではなくなるだろうというジェフ・ヒントンの予測でしたが、これは多くの点で非常に間違っていたことが判明しました。コンピューター ビジョンは、画像内で認識しなければならないさまざまなものをすべて認識するのが非常に得意ですが、放射線科医は健在で、成長を続けています。それは、多くの表面があり、患者に対応し、そのコンテキストでこれらすべてのことを行う、厄介で複雑な仕事です。

AIや初期のAGIについて人々が語る時、そしてOpenAIが設立された当時私たちが話していたように、AGIとは経済的に価値のあるあらゆるタスクを人間のパフォーマンスかそれ以上のレベルで実行できるシステムだと。それが当時の定義でした。私は当時、それで満足していました。それ以来ずっとその定義に固執してきましたが、その後、人々は様々な定義を作り出してきました。しかし、私はその定義を気に入っています。

人々がいつもする最初の譲歩は、デジタル知識労働についてのみ話しているので、物理的な作業をすべて除外することです。これは、人間ができることすべて、つまり物を持ち上げたりといった作業だった元の定義と比較すると、かなり大きな譲歩です。AIは当然そんなことはできませんが、私たちはそれを受け入れます。「ああ、知識労働だけ」と言うことで、経済のどれくらいの割合を奪っているのでしょうか？具体的な数字は分かりませんが、推測するに10%から20%くらいは知識労働だけで、誰かが在宅勤務で仕事をこなせるようなものだと思います。それでも非常に大きな市場です。経済の規模はどれくらいで、10%や20%とはどの程度でしょうか？米国だけでも、市場シェアや労働規模は数兆ドル規模です。つまり、依然として非常に大きな市場なのです。

10億より小さい方がいいと思ってるんですか？ まあ、いいでしょう？ よく分かりません。面白いことをするには、少なくとも10億個のノブが必要になるはずです。もっと小さい方がいいと思ってるんですか？

10億パラメータの認知コアについて話すことで既に逆張りになっている気がしますが、あなたは私より上回っていますね。もう少し規模を小さくできるかもしれませんね。実際的に言えば、モデルにはある程度の知識が必要だと思います。全てを調べさせるのは避けたいですね。そうすると頭の中で考えられなくなってしまうからです。常にあまりにも多くのことを調べていることになります。知識を得るためにはある程度の基礎的なカリキュラムは必要ですが、難解な知識は必要ありません。

問題は、トレーニングデータがインターネットだということです。インターネットは本当にひどいものです。インターネットがひどいからこそ、莫大な利益が得られる可能性があります。インターネットと言っても、私たちがインターネットについて考えるとき、ウォールストリートジャーナルのようなものを思い浮かべます。これは違います。フロンティアラボで事前トレーニングデータセットを見ても、ランダムに選んだインターネット文書を見ても、全くのゴミです。これがどのように機能するのか全く分かりません。株価表示記号やシンボルなど、インターネットのあらゆる場所から集めた大量のゴミです。ウォールストリートジャーナルの記事のようなものではなく、それは極めて稀です。インターネットがあまりにもひどいので、それを全て圧縮するために非常に大規模なモデルを構築する必要があります。その圧縮のほとんどは、認知作業ではなく記憶作業です。

しかし、私たちが本当に求めているのは、記憶を取り除いた認知機能の部分です。つまり、事前学習セットを認知機能だけに絞り込むために、インテリジェントなモデルが必要だということです。そうすれば、はるかに優れたデータセットを使って学習できるので、はるかに小さなモデルで済むと思います。しかし、おそらく直接学習されているわけではなく、より優れたモデルから抽出されたものなのでしょう。

かつては「もっと大きなモデル、何兆ものパラメータを持つモデルを作るぞ」という、あらゆるものがスケーリングピル化されていたからです。モデルのサイズは大きくなっていきましたが、今は小さくなっています。最先端のモデルは小さくなっています。当時でも、記憶する量が多すぎたと思います。ですから、少し前に、たとえ10億のパラメータでも非常に優れた認知コアが実現できるのではないかと予測していました。

10億のパラメータを持つモデルと会話すれば、20年後には非常に生産的な会話ができると思います。思考力があり、人間にかなり近づきます。しかし、事実に関する質問をすると、調べなければならないかもしれません。しかし、自分が知らないこと、調べなければならないかもしれないことを理解し、合理的な行動をとるだけです。

人間は実は記憶力がそれほど得意ではないのですが、これは実は特徴の一つです。記憶力がそれほど得意ではないため、より一般的な意味でパターンを見つけざるを得ないのです。

それに比べて、LLMは記憶力が非常に優れています。あらゆるトレーニングソースから文章を暗唱します。全く意味のないデータを与えても構いません。ある程度のテキストをハッシュ化したり、それに類するものを与えれば、完全にランダムなシーケンスが得られます。それを1、2回繰り返してトレーニングするだけで、LLMは突然そのシーケンス全体を暗唱できるようになります。つまり、記憶してしまうのです。人間がランダムな数字のシーケンスを1つだけ読んで、それを暗唱することは不可能です。

私たちが知る限り、最も学習能力が高いのは子供たちですが、彼らは情報を思い出すのが非常に苦手です。実際、幼少期のごく初期には、全てを忘れてしまいます。ある特定の年月日以前の出来事は、まるで記憶喪失のようです。しかし、新しい言語を習得したり、世界から学んだりするのは非常に得意です。もしかしたら、木を見て森を見ず、といった要素があるのかもしれません。

一方、スペクトルの反対側と比較すると、LLM事前学習があります。これらのモデルは、Wikipediaのページに続く内容を文字通り一語一句正確に暗記できます。しかし、子供のように抽象的な概念を非常に速く学習する能力ははるかに限られています。一方、大人はその中間に位置し、子供のような学習の柔軟性はありませんが、子供には難しい方法で事実や情報を記憶することができます。

頭の中で何かを生成し、それに意識を集中させるということは、自分自身のサンプル、つまり合成データで訓練していることになると思います。それを長く続けると、軌道から外れて、ひどく崩壊してしまいます。人生では常にエントロピーを求めなければなりません。他の人と話すことはエントロピーの大きな源泉ですし、そういったものもそうです。つまり、脳はそうしたプロセスにおいてエントロピーを増やすための内部メカニズムも構築しているのかもしれません。

夢を見ることが、こうした過剰適合や崩壊を防ぐ方法であるという、とても興味深い論文をご存知ですか？夢が進化的に適応的である理由は、こうした過剰適合を防ぐために、私たちを日常の現実とは全く異なる奇妙な状況に置くためです。

人間は時間の経過とともに崩壊していくとも考えています。この例えは驚くほど的を射ています。人間は人生の過程で崩壊していくのです。だからこそ、子どもたちはまだ過剰適応していないのです。彼らは、その思考回路が理解できるため、あなたを驚かせるようなことを言うでしょう。しかし、それは彼らがまだ崩壊していないため、彼らが言うことではないのです。しかし、私たちは崩壊しています。結局、同じ考えを繰り返してしまいます。同じことを何度も繰り返すようになり、学習率が低下し、崩壊はさらに悪化し、そして全てが悪化していくのです。