「引用ジャングル」カテゴリーアーカイブ

囲碁は人間と人間が抽象空間で最善の手を探していくゲームだ。ところがアルファ碁の対局以降、囲碁は正解があるゲームになってしまった。正解が決まったゲームでプロ棋士は何になるのか。プロゲーマーか。 ＜インタビュー＞「アルファ碁… 続きを読む »

私たちの目標は、まるで人間のようにAIに話しかけられることです。つまり、あなたと私がお互いに話しかけているように、たくさんの小さな合図があります。うなずくだけでいいのです。 私たちのロードマップの大部分は、AIに自分の考… 続きを読む »

検索は本当に重要なのです。今でも、間違いなく、適切な製品とはグラウンドトゥルースと連携したLLMであると信じています。だからこそChatGPTに検索機能を導入したのです。これは大きな違いを生むと考えています。企業でも同じ… 続きを読む »

通常のソフトウェアエンジニアリングとは異なり、基礎モデルのトレーニングが私たちが守るべきルールの多くを破る点にあると思います。ソフトウェアの世界では、例えばMicrosoft Wordの開発が私たちの仕事だとしましょう。… 続きを読む »

インテリジェンスの最先端に立ちたいなら、コンピューティングの最先端にも立ち向かわなければならないということです。そして、コンピューティングの最先端に立ち向かえていないなら、方向転換して全く異なることに挑戦しなければならな… 続きを読む »

OpenAIは言うまでもなく、巨大モデルのパイオニアでした。LLM（学習モデル化）はGPT-2、そしてGPT-3から生まれました。しかし、これらのLLMは当初、テキストのみの学習レシピでした。その後、RLHF（人間からの… 続きを読む »

チャットボットは長期的な解決策ではないと思います。少なくとも、あなたに代わってアクションを実行するシステムを構築したいのであれば、今日私たちが考えているようなチャットボットではありません。 このことを最もよく表す例えはこ… 続きを読む »

セルフプレイという概念は、DeepMindが2010年代半ばに囲碁で人間に勝利したことで、非常に人気を博した手法でした。 囲碁をプレイするにあたり、DeepMindは膨大な数の囲碁環境をシミュレートし、モデルに何度も何度… 続きを読む »

LLMの場合、ご存知のとおり、トレーニングの大部分は次のトークン予測から行われます。インターネット上のあらゆる記事の巨大なコーパスがあるので、次の単語を予測してみます。次の単語を正しく予測できれば、プラスの報酬が得られ、… 続きを読む »

2020年にGoogleでLaMDA（Meena）というプロジェクトがありました。これはChatGPT以前のChatGPTのようなもので、Google社員のみが利用できました。当時から、社員がこれらのAIシステムに個人的… 続きを読む »