誰もがGenerative AIに大金を賭けています。まるで、これが唯一の選択肢のようです。

あらゆる資金、あらゆる話題、あらゆる誇大宣伝――それらはすべて、何かを生成するAIの開発に注ぎ込まれました。テキスト、画像、動画、あらゆるものを生み出します。AIの世界には、他に何も存在しないかのようです。

しかし、もし私たち全員が完全に間違っていたらどうなるでしょうか?

メタは爆弾発言をしました。つまり、大規模言語モデル、つまり GPT や Gemini は、真の機械知能を支える頭脳にはなりません。これは、ここ数年でAIに投資されたほぼすべての資金にとって、まさに痛手です。

6ヶ月前、同僚のスネハはマーケティングの仕事から解雇されました。無能だったとか怠けていたとかいう理由ではありません。彼女は15年の経験を持ち、優秀な人事評価を受け、業界に関する深い知識も持っていました。彼女の代わりを務めたのは、サラが2日かけてこなした仕事を、彼女の半分の年齢で2時間でこなせる人物でした。

違いは何でしょうか？若い従業員は AI ツールを効果的に使用する方法を知っていました。

スネハさんは数週間かけてソーシャルメディアのコンテンツを作成し、メールキャンペーンを作成し、顧客データを分析していました。彼女の後任はAIを活用し、数分で数十種類のコンテンツのバリエーションを生成し、メールシーケンスを自動化し、簡単なプロンプトで顧客データからインサイトを抽出しました。

この状況は今、あらゆる業界で起こっています。雇用市場は二つのグループに分かれつつあります。AIを活用して生産性を飛躍的に向上できる人材と、時代遅れになりつつある人材です。

著者は、誰かが自分の作品を訓練や学習のために利用することを正当に排除することはできません。誰もがテキストを読み、そして新しいテキストを書きます。最初はテキストを手に入れるためにお金を支払う必要があるかもしれません。しかし、本を読むたびに、記憶から思い出すたびに、そして後に新しいことを新しい方法で書く際にそれを参考にするたびに、その本の使用に対して具体的にお金を支払うように強制することは考えられません。

ウィトゲンシュタインはかつて、

「目が何か美しいものを見ると、手はそれを描きたくなる」

と書きました。

2023年にDeepMindは220万個の結晶構造を発見したと主張し、 「人類が知る安定した物質の桁違いの拡大」を示しました。しかし、材料科学者がこれらの化合物を分析したところ、「ほとんどがジャンク」であることが分かり、「敬意を表して」この論文では「新しい物質は報告されていない」と示唆しました。

誰かがインディーズ短編映画程度の予算で次なる『ゲーム・オブ・スローンズ』を制作する日が来るでしょう。それもそう遠くありません。

人間は模倣と明示的なフィードバックの組み合わせから学習します。

・学校では、教師は黒板に算数の問題を描き、生徒にそれに沿って解くように促します（模倣）。その後、教師は生徒に自分で問題を解くように指示します。教師は生徒の答えを採点することでフィードバックを与えます（強化）。

・新しい仕事を始める際、初期の研修では、より経験豊富な従業員の行動を観察する（模倣）といった形態が考えられます。しかし、従業員が経験を積むにつれて、学習は業績評価などの明示的なフィードバック（強化）へと移行していきます。

通常、強化の前に模倣を行うのが理にかなっていることに注意してください。模倣は、あるトピックを全く知らない人に知識を伝える効率的な方法ですが、習得するには強化が必要となることがよくあります。

大規模言語モデルでも同様です。自然言語の複雑さを考えると、強化学習のみで言語モデルを学習することは現実的ではありません。そのため、LLMはまず模倣を通して人間の言語のニュアンスを学習します。

しかし、事前学習は、より長く複雑なタスクでは力不足になります。さらなる進歩には、強化学習への移行、つまりモデルに問題を試させ、成功したかどうかに基づいてフィードバックを与えることが必要です。

強化学習のみで自動運転車を訓練したいとしましょう。車間距離の確保、交差点での右左折、二重黄線をいつ越えても良いかといった、運転のあらゆる原則を明確な数式に変換する必要があります。これは非常に困難です。人間の運転例を大量に集め、モデルに「このように運転しなさい」と効果的に指示する方が簡単です。それが模倣学習です。

しかし、強化学習は自動運転システムの訓練においても重要な役割を果たします。2022年の論文で、Waymoの研究者は、模倣学習のみで訓練されたモデルは「デモデータによく表れている状況」ではうまく機能する傾向があると記しています。しかし、「データではほとんど発生しない、より異常な、あるいは危険な状況」では、模倣学習で訓練されたモデルが「予測できない反応」を示す可能性があり、例えば他の車両に衝突する可能性があります。

Waymo は、模倣学習と強化学習を組み合わせることで、どちらかの技術を単独で使用した場合よりも優れた自動運転パフォーマンスが得られることを発見しました。

私たちが何年もかけて開発してきたようなアプリケーションは、数日で構築できます。彼はエンジニアリングの生産性が60～75%向上するという誇大広告の記事をいくつも読んでいます。どうやら、私たちの業界に競合企業が参入し、私たちのアプリとほぼ同じことを、より高度な機能で実現したようです。これには様々な理由が考えられますが、結局のところ、彼らはAIを活用して1ヶ月で私たちのアプリを開発したのです。それ以来、「効率を向上」させ、できるだけ早くリリースするために、あらゆる場所でAIをフル活用するようにというプレッシャーが絶え間なくかかっています。

Pinterestで流行っているミームが、今の状況をよく表していると思います。

「絵を描いたり物語を書いたりするために、ロボットに皿洗いや洗濯をさせたかった。ところが、実際には絵を描いたり物語を書いたりするロボットが与えられ、私たちは皿洗いや洗濯をすることができるようになった」