ソフトウェアエンジニアリングにおいては、その特性は確かに存在すると思います。多くのバイブコーディングではそうではありません。しかし、実際に製品レベルのコードを書くのであれば、その特性は存在するべきです。なぜなら、どんなミスもセキュリティ上の脆弱性などにつながるからです。何百万、何億人もの人々の社会保障番号が漏洩したり、そういったことが起こります。ですから、ソフトウェアにおいては、自動運転のように、人々は注意を払うべきです。自動運転では、何かがうまくいかなければ怪我をするかもしれません。もっと悪い結果もあり得ます。しかし、ソフトウェアにおいては、どれほどひどい結果になり得るかはほぼ無限です。

これはまだ完成に程遠いということです。

自動運転の歴史は古く、最初のデモは1980年代にまで遡ります。1986年にCMUで行われたデモをご覧になれば、道路を自動運転するトラックがあるのが分かります。

テスラに入社した頃、Waymoのごく初期のデモを体験しました。2014年頃だったと思いますが、ほぼ完璧な運転ができました。つまり、10年前のWaymoの完璧な運転体験です。パロアルトあたりを走らせてくれました。

特定のタスクや職種などでは、デモと製品開発の間に大きなギャップが生じます。デモは非常に簡単だが、製品開発は非常に難しいというケースです。特に自動運転のように、失敗のコストが高すぎるケースでは顕著です。多くの業界、タスク、職種ではこのような特性は見られないかもしれませんが、もしそのような特性がある場合、開発期間が確実に長くなります。

うまくいくはずがないのに、なぜか、驚くべきことに、うまく機能するものがある、ということです。多くの小規模なモデル、あるいはより低レベルのモデルは、幼稚園児、小学生、高校生に驚くほど似ています。どういうわけか、私たちはまだ、こうしたものが主流になるには卒業が足りません。私のクロード・コードやコーデックスは、まだ小学生のような感覚です。博士課程の試験は受けられることは知っていますが、認知的には幼稚園児や小学生のような感覚です。

彼らはまだ子供だから、文化を創造できるとは思えません。彼らはサヴァン症候群の子供です。あらゆる物事を完璧に記憶しています。見た目は素晴らしいのに、どんな種類の雑品でも、説得力のある形で作ることができます。しかし、彼らは自分が何をしているのか本当に分かっていないし、私たちがまだ集めなければならない小さなチェックボックスをすべて把握する能力も持っていないと思います。

自己対戦という強力なアイデアによく似ています。私にとって、これは非常に強力です。進化には、知性と進化を促す多くの競争があります。AlphaGoでは、よりアルゴリズム的に言えば、 AlphaGoは自分自身と対戦し、そうすることで囲碁が上手くなるように学習します。自己対戦型のLLMに相当するものはありませんが、いずれは存在するだろうと私は考えています。まだ誰も実現していません。例えば、LLMが複数の問題を作成し、別のLLMが解くことを学習する、といったことはできないのでしょうか？そうすれば、LLMは常により難しい問題に取り組もうとする、といった具合です。

なぜLLMが他のLLMのために本を書けないのでしょうか？それは素晴らしいことだと思います。なぜ他のLLMがそのLLMの本を読んで、刺激を受けたり、衝撃を受けたりできないのでしょうか？これらのどれにも同等のものはありません。

LLMには文化に相当するものが本当に存在しないからです。もしかしたら、私たちはLLMに多くのものを与えすぎて、文化を生み出さないようにインセンティブを与えているのかもしれません。しかし、文化の発明、記録の発明、そしてお互いにメモを渡すという行為は、今のところLLMにはそれに相当するものが存在しないと思います。LLMには今のところ文化が本当に存在せず、それが障害の一つになっていると言えるでしょう。

人類が急激な発展を遂げるとは予想していない理由として、人類が急激な発展を遂げたのは6万年前、つまり私たちが今日持っているような認知構造が備わっていた頃だと述べています。1万年前には農業革命、近代化が起こりました。その5万年間に何が起こっていたのでしょうか？世代を超えて知識を蓄積できる文化的な足場を築く必要があったのです。

ヒト科の知能と鳥類の知能があります。ワタリガラスなどは非常に賢いですが、脳の部位は全く異なっており、私たち人間との共通点はそれほど多くありません。これは、知能が何度か出現する可能性があることを示唆しています。もしそうなら、より頻繁に出現すると予想されます。

ニック・レーンは、細菌と古細菌におけるこの非常に明白なボトルネックを非常にうまく説明しています。20億年の間、何も起こらなかったのです。生化学的には極めて多様なのに、動物に成長するものは何もないのです。20億年もの間。

知性の核心は動物の知能であるというサットンの見解を受け入れるなら…彼が言った言葉は「リスに到達できれば、AGIへの道はほぼ完了するだろう」です。

リスの知能は、6億年前のカンブリア爆発の直後に誕生しました。そのきっかけとなったのは、6億年前の酸素化イベントだったようです。しかし、すぐに知能アルゴリズムがリスの知能を生み出しました。動物の知能もそのようなものだったと示唆しています。環境に酸素が供給され、真核生物が誕生した途端、アルゴリズムが誕生したのです。