インテリジェンスの最先端に立ちたいなら、コンピューティングの最先端にも立ち向かわなければならないということです。そして、コンピューティングの最先端に立ち向かえていないなら、方向転換して全く異なることに挑戦しなければならないということです。

OpenAIは言うまでもなく、巨大モデルのパイオニアでした。LLM（学習モデル化）はGPT-2、そしてGPT-3から生まれました。しかし、これらのLLMは当初、テキストのみの学習レシピでした。その後、RLHF（人間からのフィードバックによる強化学習）を発見し、RLHFを通じて大量の人間のデータを取得できるようになりました。

しかし、マルチモーダル入力への移行では、テキストのみの世界で行った最適化の多くを放棄する必要があり、それによって他社が追いつく時間を与えてしまいます。実際、これがGeminiが追いつくことができた理由の一つだと思います。Googleはネイティブマルチモーダルに関する興味深いアイデアに賭け、それがGeminiで成功を収めたのです。

チャットボットは長期的な解決策ではないと思います。少なくとも、あなたに代わってアクションを実行するシステムを構築したいのであれば、今日私たちが考えているようなチャットボットではありません。

このことを最もよく表す例えはこれです。私の父は非常に善意に満ちた聡明な人で、工場でキャリアの多くを過ごし、技術サポートを求めて私にしょっちゅう電話をかけてきます。「デイビッド、iPad に何か不具合があるんだ。助けてほしい」と彼は言います。

私たちは電話越しにこれをやっているだけなので、私は父の画面に何が表示されているのか見ることができません。そこで私は、「ああ、設定メニューは開いていますか？これをまだクリックしていませんか？このトグルはどうなっているのですか？」と考えます。

チャットは非常に低帯域幅のインターフェースです。これが、アクションを実行しようとするチャット体験であり、反対側にいる非常に有能な人間があなたに代わって処理しようとしているのです。

セルフプレイという概念は、DeepMindが2010年代半ばに囲碁で人間に勝利したことで、非常に人気を博した手法でした。

囲碁をプレイするにあたり、DeepMindは膨大な数の囲碁環境をシミュレートし、モデルに何度も何度も自身をプレイさせました。以前のバージョンの自身よりも優れた戦略を見つけるたびに、強化学習によって実質的に正の報酬が得られ、将来その戦略をより多く実行するように促されます。囲碁シミュレータでこれに大量の計算リソースを投入すると、DeepMindは実際に超人的な囲碁のプレイ戦略を発見しました。

そして世界チャンピオンと対戦した際には、これまで誰も見たことのない手を打ち、囲碁という分野全体の最先端技術に貢献しました。

LLMの場合、ご存知のとおり、トレーニングの大部分は次のトークン予測から行われます。インターネット上のあらゆる記事の巨大なコーパスがあるので、次の単語を予測してみます。次の単語を正しく予測できれば、プラスの報酬が得られ、間違っていればペナルティが課せられます。

LLM は、次の単語がなぜ正しい答えなのかを学習しません。学習するのは、前の単語セットに似たものを見たときに、この特定の次の単語を言う必要があるということだけです。

2020年にGoogleでLaMDA（Meena）というプロジェクトがありました。これはChatGPT以前のChatGPTのようなもので、Google社員のみが利用できました。当時から、社員がこれらのAIシステムに個人的な愛着を抱き始めていました。人間は何でも擬人化するのが得意です。ですから、人々が特定のモデルのチェックポイントに愛着を抱いているのを見ても、驚きませんでした。

プラトン的表象仮説とは、プラトンの洞窟寓話に似た考え方で、その名の由来にもなっていますが、現実は一つしかないというものです。しかし、私たち人間は、プラトンの洞窟の壁に映る影のように、その現実の特定の表現しか見ていません。LLMも同様で、LLMは与えられた学習データを通して、この現実の断片を「見る」のです。

例えば、森の中を散歩する人のYouTube動画は、どれも最終的には私たちが生きる現実世界から生成されたものです。これらのLLMをより多くのデータで訓練し、LLMがより賢くなるにつれて、LLMは私たち全員が共有する一つの現実を表現するように収束していきます。ですから、この仮説を信じるなら、すべてのLLMが同じ世界モデルに収束すると信じるべきです。

米MicrosoftCEOのサティア・ナデラ氏による「SaaS is Dead」発言である。

「従来型の業務アプリケーションはエージェント（AIによる知的代理）が台頭する時代には崩壊し、SaaSの時代は終わる」

「現在のビジネスアプリは結局GUI付きのデータベースに過ぎず、ビジネスロジックはAIエージェント側に移行してしまう」

「自分が何を分かっていないのかさえ分かっていなかった」

機材や、アームの影、俳優の立ち位置を示す印がショットに映りこんでいたと明かした。

「やり方を理解するには、少なくとも映画２本は必要だ」

落語って“いただく”んですよ。例えば、テレビで僕がダウンタウンのネタをやったら、めっちゃ怒られるんですよ。何パクっとんねん、と。でも、落語はどうぞどうぞ、という世界。『手水回し』というネタがあって、亡くなった桂雀々師匠につけてもらったんですけど、その時、全部くれるんですよ。くすぐりもギャグも、『手水回し』の細かいところ、全部いただいてる。そして、それをいただいた人間がまた次にあげる。そういうのが落語にはめっちゃあるんですよ。