JPモルガンのCEOジェイミー・ダイモン氏も、最近学生にアドバイスをするインタビューでこう言った。

「皆さん、TikTokやFacebookはやめてください。まったく時間の無駄です。学生へのアドバイスは、学び、学び、学び、学び、学び、学び…歴史の本を読みましょう。作り話はできません。ネルソン・マンデラ、エイブラハム・リンカーン、サム・ウォルトン。本を読んだり、他の人と話したりしてしか学べません。他に方法はありません」

人間の労働者は、仕事の効率を高める知識を蓄積するために何十年も費やします。問題を解決するには、数か月または数年前に行った会話や読んだ研究論文の事実を思い出す必要がある場合もあります。重要な情報が不足していて、それを得るために何を読んだり、誰と話したりすればよいかを考えなければならない場合もあります。

OpenAI がこの種の問題を解決できる段階に近づいているとは思えません。

理由の 1 つは、公開されている最高の LLM のコンテキスト ウィンドウが200 万トークン以下であることです。これは、私たちが一生のうちに遭遇する情報よりもはるかに少ない量です。

次の推論問題を作成しました。

5 つのテーブルと各テーブルに 3 人のゲストを配置した結婚披露宴を計画しています。

アリスはベサニー、エレン、キミーと一緒に座りたくない。

ベサニーはマーガレットと一緒に座りたくない。

チャックはナンシーと一緒に座りたくない。

フィオナはヘンリーやチャックと一緒に座りたくない。

ジェイソンはベサニーやドナルドと一緒に座りたくない。

グラントはイングリッド、ナンシー、オリビアと一緒に座りたくない。

ヘンリーはオリビア、ルイーズ、マーガレットと一緒に座りたくない。

ルイーズはマーガレットやオリビアと一緒に座りたくない。

これらすべての好みが尊重されるようにゲストをどのように手配すればよいでしょうか?

これを効率的に解決するアルゴリズムは知られていません。試行錯誤でしか解決できません。

GPT-4o にこれを解くように指示したところ、モデルは次のように人々をテーブルに割り当て始めました。

表1:アリス、チャック、ジェイソン

表2 : ベサニー、エレン、キミー

表3 : フィオナ、イングリッド、ドナルド

しかし、この時点ではテーブルが 2 つしか残っておらず、GPT-4o がまだ ルイーズ、マーガレット、ヘンリーを着席させていないため、誰も一緒に座りたくなかったため、行き詰まっていました。

GPT-4o は要件を満たしていない最後の 2 つのテーブルの割り当てを吐き出し、その日は終了しました。

対照的に、o1 は 35 秒間考えた後、次の正しい解決策を生成しました。

表1: アリス、ドナルド、フィオナ

表2: グラント、ベサニー、キミー

表3: ヘンリー、チャック、エレン

表4: ジェイソン、マーガレット、オリビア

表5: ルイーズ、イングリッド、ナンシー

o1 は、機能する組み合わせが見つかるまでさまざまな組み合わせを試しました。

模倣学習と強化学習の違いを理解する必要があります。

トレーニング例が「2+2=4」とした場合、模倣学習アルゴリズムは「2 足す 2 は 4」と「2+2=5」を同様に誤りとして扱います。トレーニング例のスタイルとフォーマットを再現するようにモデルをトレーニングするのに多くの時間を費やしますが、最終的に正しい答えを得るための努力は比較的少なくなります。

強化学習は異なるアプローチを採用しています。強化学習では、トレーニング データ内のすべてのトークンを完璧に再現しようとするのではなく、最終的に正しい答えに到達したかどうかに基づいて応答を評価します。

強化学習がそれほど優れているのなら、なぜ誰もが使用しないのでしょうか。その理由の 1 つは、強化学習がスパース報酬と呼ばれる問題に悩まされる可能性があることです。LLM が 100 トークンの回答のうち 5 トークンしか生成していない場合、強化学習アルゴリズムは正しい回答に向かっているかどうかを知る方法がない可能性があります。そのため、強化学習のみでトレーニングされたモデルは、肯定的なフィードバックを受け取れるほど十分に良くならない可能性があります。

欠点はありますが、模倣学習は少なくともすべてのトークンに対してフィードバックを与えることができます。そのため、初期のモデルがまともな文章を生成することさえできないトレーニングの初期段階には、模倣学習が適しています。モデルがときどき適切な回答を生成できるようになったら、強化学習によってモデルをより迅速に改善することができます。

「学習者は専門家が問題を実行するのを見るが、専門家が問題に巻き込まれることはほとんどない。学習者がどれだけ優秀であっても、明白なものであれ微妙なものであれ、間違いは犯す。しかし、学習者は専門家が問題に巻き込まれるのを見たことがないので、専門家が問題から抜け出すのも見たことがない」

簡単な例を挙げましょう。文書に文字列「2+2=」が含まれている場合、次の文字は「4」である可能性が非常に高くなります。そのため、トレーニング プロセス中に、LLM は「2+2=」とプロンプトが表示されたときに「4」で応答することを学習します。これには、モデルが数字について深い洞察を持っている必要はありません。LLM にとって、「2」と「4」は「cat」や「the」のようなトークンにすぎません。

ここで、LLM に「2+5+4+5-12+7-5=」というシーケンスの次のトークンを予測するように依頼したとします。このシーケンスは LLM のトレーニング セットにはおそらく含まれていないため、「すぐに」答えを知ることはできません。ただし、モデルに「ステップごとに考える」ように依頼すると、次のような出力が生成されます。

最初の2つの数字から始めます: 2+5=7

次の数字を足します: 7+4=11

次の数字を足します: 11+5=16

次の数字を引きます：16−12=4

次の数字を足します: 4+7=11

最後の数字を引く：11−5=6

「2+5+4+5-12+7-5=6」はトレーニング データにはありませんが、「2+5=7」、「7+4=11」などの文字列はおそらくトレーニング データに含まれています。したがって、1 つの大きな数学の問題を一連の小さな数学の問題に変換することで、LLM は正しい答えを得ることができます。ただし、これは、モデルのトレーニング データに大きな数式が小さなステートメントに分割されている例が多数含まれている場合にのみ可能であることに注意してください。

これが o1 の基本的な考え方です。

OpenAIは、「o」は単にOpenAIの略だと言っているが、これは米国政府が「並外れた能力を持つ外国人」に与えるO-1ビザを指していると冗談を言う人もいる。

O1 モデルが人類にとって脅威だとは思いませんが、本当に驚異的です。

o1-preview は、テキストベースの推論パズルのすべてで優秀な成績を収めました。これは、オリジナルの GPT-4 以来、推論機能の最大の飛躍です。

o1 は、100 セント硬貨の価値が 3 クォーター硬貨の価値よりも高いこと、9.9 は 9.11 より大きいこと、6 面サイコロ 20 組を足しても 250 にならないこと、車にヘリウムガスを充填しても浮かばないことを知っています。これにより、o1 は今日市場に出回っている他のどの LLM よりも頭一つ抜きん出ています。実際、o1 が解けないパズルを作るのは驚くほど難しいと感じました。

イスラエルは1956年にスエズ運河をめぐって、またエジプトの南端から海洋へのアクセスを維持するために、小規模な戦争でエジプトを攻撃した。

約 10 年後、エジプトはそのアクセスを遮断し、イスラエルとの新たな戦争に備えて国境沿いに軍人を集め、国連軍にその地域から撤退するよう要請した。ユダヤ国家は先制攻撃を仕掛け、エジプト、ヨルダン、シリアの空軍を標的にし、いわゆる 6 日間戦争の初日にこれらを全滅させた。ヨルダン軍とシリア軍はエジプトに騙されて勝利を確信し、イスラエルへの砲撃を開始した。イスラエルは反撃し、ガザ、シナイ半島、ヨルダン川西岸、ゴラン高原を占領した。

約30万人のパレスチナ人がヨルダン川西岸地区から撤退し、約10万人のシリア人がゴラン高原から撤退した。

6年後の1973年、エジプトとシリアはヨム・キプール戦争で再びイスラエルを攻撃した。当初は勝利していたが、エジプトとシリアの首都カイロとダマスカスに進軍したイスラエル軍に押し戻された。

この後、エジプトはイスラエルとの和平交渉を決意。イスラエルはシナイ半島を返還し、1978年のキャンプ・デービッド合意に続いて和平協定を締結。

1994年、イスラエルはヨルダンと和平条約を締結し、ヨルダンはヨルダン川西岸地区に対する領有権を放棄した。

2020年、アブラハム合意に基づき、イスラエルはアラブ首長国連邦、バーレーン、モロッコ、スーダンと和平条約を締結。

過去50年間で、イスラエルは世界の大多数の国と関係を持たなかった状態から、一部のイスラム教国と独裁国家を除くすべての国と関係を持つ状態へと変化した。

パレスチナにおけるイギリス委任統治は1948年5月14日に終了しました。
その日、イスラエルは独立を宣言しました。
その翌日、アラブ諸国が攻撃しました。
エジプト、トランスヨルダン（現在のヨルダン）、シリア、そしてイラクからの遠征軍が一斉にパレスチナに入りました。

どういうわけか、イスラエルは戦争に勝利し、1947年に国連から割り当てられた領土を超えて領土を拡大しました。

これは、英国と国連の提案に続いて、アラブ諸国がパレスチナ独立国家を樹立する3度目のチャンスだった。しかし、エジプトとトランスヨルダンの目的は異なっていた。彼らは単にアラブ地域を自分たちのものにしただけだった。エジプトはガザ地区を、トランスヨルダンはヨルダン川西岸地区を占領した。イスラエルはすべての近隣諸国と停戦協定を結んだが、永続的な平和協定は結んでいない。

約 75 万人のアラブ系パレスチナ人がイスラエル領から逃亡または追放され、彼らはこれを「ナクバ」（「大惨事」）と呼んでいます。原因は複雑で、イスラエル軍による直接的な追放から、アラブ指導者による住民の立ち退き要請、敵対行為への恐怖、紛争後に帰還できるという確信まで多岐にわたります。約 15 万人のアラブ人が留まり、イスラエル国民となりました。アラブ諸国はパレスチナ難民の受け入れを拒否し、難民キャンプに留めておきながら帰還を認めるよう主張しました。