Mr Beast の全体的な目標は、次のとおりです。

ここでのあなたの目標は、可能な限り最高の YOUTUBE ビデオを作成することです。それがこの制作会社の第一の目標です。最高の制作ビデオを作成するのではありません。最も面白いビデオを作成するのではありません。最も見栄えの良いビデオを作成するのではありません。最高品質のビデオを作成するのではありません。可能な限り最高の YOUTUBE ビデオを作成することです。

26歳になると、なぜそれを求めるのかを考える時間をかけずに、欲しいものを追求することに多くの時間を費やすのが普通です… お金、名声、権力など、何を求めているのかを知らずにそれを求めるのは危険なことです。たとえ運良く山の頂上にたどり着いたとしても、そこは酸素がほとんどない孤独な場所であることに気づくでしょう… 若いときは、自分が何を望んでいるのか、なぜそれを望んでいるのかを考え、その理由を本当に問いただすのは難しいことです。しかし、それはまた重要です。それをせずに長く過ごすと、どんなに成功しても人生はより困難になります。

JPモルガンのCEOジェイミー・ダイモン氏も、最近学生にアドバイスをするインタビューでこう言った。

「皆さん、TikTokやFacebookはやめてください。まったく時間の無駄です。学生へのアドバイスは、学び、学び、学び、学び、学び、学び…歴史の本を読みましょう。作り話はできません。ネルソン・マンデラ、エイブラハム・リンカーン、サム・ウォルトン。本を読んだり、他の人と話したりしてしか学べません。他に方法はありません」

人間の労働者は、仕事の効率を高める知識を蓄積するために何十年も費やします。問題を解決するには、数か月または数年前に行った会話や読んだ研究論文の事実を思い出す必要がある場合もあります。重要な情報が不足していて、それを得るために何を読んだり、誰と話したりすればよいかを考えなければならない場合もあります。

OpenAI がこの種の問題を解決できる段階に近づいているとは思えません。

理由の 1 つは、公開されている最高の LLM のコンテキスト ウィンドウが200 万トークン以下であることです。これは、私たちが一生のうちに遭遇する情報よりもはるかに少ない量です。

次の推論問題を作成しました。

5 つのテーブルと各テーブルに 3 人のゲストを配置した結婚披露宴を計画しています。

アリスはベサニー、エレン、キミーと一緒に座りたくない。

ベサニーはマーガレットと一緒に座りたくない。

チャックはナンシーと一緒に座りたくない。

フィオナはヘンリーやチャックと一緒に座りたくない。

ジェイソンはベサニーやドナルドと一緒に座りたくない。

グラントはイングリッド、ナンシー、オリビアと一緒に座りたくない。

ヘンリーはオリビア、ルイーズ、マーガレットと一緒に座りたくない。

ルイーズはマーガレットやオリビアと一緒に座りたくない。

これらすべての好みが尊重されるようにゲストをどのように手配すればよいでしょうか?

これを効率的に解決するアルゴリズムは知られていません。試行錯誤でしか解決できません。

GPT-4o にこれを解くように指示したところ、モデルは次のように人々をテーブルに割り当て始めました。

表1:アリス、チャック、ジェイソン

表2 : ベサニー、エレン、キミー

表3 : フィオナ、イングリッド、ドナルド

しかし、この時点ではテーブルが 2 つしか残っておらず、GPT-4o がまだ ルイーズ、マーガレット、ヘンリーを着席させていないため、誰も一緒に座りたくなかったため、行き詰まっていました。

GPT-4o は要件を満たしていない最後の 2 つのテーブルの割り当てを吐き出し、その日は終了しました。

対照的に、o1 は 35 秒間考えた後、次の正しい解決策を生成しました。

表1: アリス、ドナルド、フィオナ

表2: グラント、ベサニー、キミー

表3: ヘンリー、チャック、エレン

表4: ジェイソン、マーガレット、オリビア

表5: ルイーズ、イングリッド、ナンシー

o1 は、機能する組み合わせが見つかるまでさまざまな組み合わせを試しました。

模倣学習と強化学習の違いを理解する必要があります。

トレーニング例が「2+2=4」とした場合、模倣学習アルゴリズムは「2 足す 2 は 4」と「2+2=5」を同様に誤りとして扱います。トレーニング例のスタイルとフォーマットを再現するようにモデルをトレーニングするのに多くの時間を費やしますが、最終的に正しい答えを得るための努力は比較的少なくなります。

強化学習は異なるアプローチを採用しています。強化学習では、トレーニング データ内のすべてのトークンを完璧に再現しようとするのではなく、最終的に正しい答えに到達したかどうかに基づいて応答を評価します。

強化学習がそれほど優れているのなら、なぜ誰もが使用しないのでしょうか。その理由の 1 つは、強化学習がスパース報酬と呼ばれる問題に悩まされる可能性があることです。LLM が 100 トークンの回答のうち 5 トークンしか生成していない場合、強化学習アルゴリズムは正しい回答に向かっているかどうかを知る方法がない可能性があります。そのため、強化学習のみでトレーニングされたモデルは、肯定的なフィードバックを受け取れるほど十分に良くならない可能性があります。

欠点はありますが、模倣学習は少なくともすべてのトークンに対してフィードバックを与えることができます。そのため、初期のモデルがまともな文章を生成することさえできないトレーニングの初期段階には、模倣学習が適しています。モデルがときどき適切な回答を生成できるようになったら、強化学習によってモデルをより迅速に改善することができます。