検索は本当に重要なのです。今でも、間違いなく、適切な製品とはグラウンドトゥルースと連携したLLMであると信じています。だからこそChatGPTに検索機能を導入したのです。これは大きな違いを生むと考えています。企業でも同じ… 続きを読む »

通常のソフトウェアエンジニアリングとは異なり、基礎モデルのトレーニングが私たちが守るべきルールの多くを破る点にあると思います。ソフトウェアの世界では、例えばMicrosoft Wordの開発が私たちの仕事だとしましょう。… 続きを読む »

インテリジェンスの最先端に立ちたいなら、コンピューティングの最先端にも立ち向かわなければならないということです。そして、コンピューティングの最先端に立ち向かえていないなら、方向転換して全く異なることに挑戦しなければならな… 続きを読む »

OpenAIは言うまでもなく、巨大モデルのパイオニアでした。LLM（学習モデル化）はGPT-2、そしてGPT-3から生まれました。しかし、これらのLLMは当初、テキストのみの学習レシピでした。その後、RLHF（人間からの… 続きを読む »

チャットボットは長期的な解決策ではないと思います。少なくとも、あなたに代わってアクションを実行するシステムを構築したいのであれば、今日私たちが考えているようなチャットボットではありません。 このことを最もよく表す例えはこ… 続きを読む »

セルフプレイという概念は、DeepMindが2010年代半ばに囲碁で人間に勝利したことで、非常に人気を博した手法でした。 囲碁をプレイするにあたり、DeepMindは膨大な数の囲碁環境をシミュレートし、モデルに何度も何度… 続きを読む »

LLMの場合、ご存知のとおり、トレーニングの大部分は次のトークン予測から行われます。インターネット上のあらゆる記事の巨大なコーパスがあるので、次の単語を予測してみます。次の単語を正しく予測できれば、プラスの報酬が得られ、… 続きを読む »

2020年にGoogleでLaMDA（Meena）というプロジェクトがありました。これはChatGPT以前のChatGPTのようなもので、Google社員のみが利用できました。当時から、社員がこれらのAIシステムに個人的… 続きを読む »

プラトン的表象仮説とは、プラトンの洞窟寓話に似た考え方で、その名の由来にもなっていますが、現実は一つしかないというものです。しかし、私たち人間は、プラトンの洞窟の壁に映る影のように、その現実の特定の表現しか見ていません。… 続きを読む »

米MicrosoftCEOのサティア・ナデラ氏による「SaaS is Dead」発言である。 「従来型の業務アプリケーションはエージェント（AIによる知的代理）が台頭する時代には崩壊し、SaaSの時代は終わる」 「現在の… 続きを読む »