引用ジャングルは同名のTumblrページからインポートしています

最新の知見を知るサイト

  • 2023 年は事実上、生成 AI 時代の「1 年目」でした。2025 年の時点で、私たちはまだ「3 年目」に過ぎません。はっきりさせておきますが、私たちは革命の真っ只中にいます。

  • これまで何年にもわたっていくつの Instagram アカウントを所有してきたか、いくつのユーザー名やニッチ、個人ブランドを持っていたかなどを考えると、指が足りなくなりそうになったら、問題を抱えていることに気づくでしょう。あるいは、何回燃え尽き、何回フラストレーションを感じ、何回自分を他のアカウントと比較して、コンテンツではなく、自分自身について嫌な気持ちになったか。まるで、フォロワーが 300 人にも満たず、投稿に平均 9 件の「いいね!」がある Instagram アカウントを運営することが、ある種の道徳的欠陥であるかのように。

  • 「賢い人は自分の失敗から学ぶと言われています。さらに賢い人は他人の失敗から学びます。しかし、最も賢い人は他人の成功から学びます」
    — ジョン・C・マクスウェル

  • 重要なのは、ポストトレーニングはまだ初期段階であり、事前トレーニングと比較して低コストで急速な改善を実現できることです。これが、OpenAIがわずか3か月でo1からo3に飛躍した方法です。DeepSeekが、より少なく劣ったGPUを所有していたにもかかわらず、 R1に追いついた方法です。これが、Grokがわずか2年でトップレベルに到達した方法です。

  • 強化学習と教師あり微調整を組み合わせると、特に数学やコーディングなどの構造化された領域で非常に効果的であることが証明されました。

  • GPT-2(2019年2月)のパラメーターは15億でしたが、GPT-4(2023年3月)は1兆7600億と推定されています。これは3桁大きいです。このアプローチは当然、トレーニングデータの収集、モデルの成長、GPUの購入で数年先行していたOpenAIなどの先行者に有利でした。

  • イーロン・マスクが Grok 3 を「地球上で最も賢い AI 」と呼んだのは誇張ではなかったようです。Grok 3 は Grok 2 と比べて大きな進歩です。 

    Grok 3 のパフォーマンスは、OpenAI、Google DeepMind、Anthropic などのより成熟した研究室のモデルに匹敵し、場合によってはそれを上回るレベルです。LMSysのすべてのカテゴリでトップであり、推論バージョンは数学、コーディング、科学の質問で強力な結果を示しています。ほとんどの基準で、少なくとも最先端技術の 1 つです (ただし、すべてのタスクでそうではありません)。

  • 私たちが追加したものの 1 つは、Teams のファシリテーター エージェントです。その目標は、まだ初期段階ですが、そのファシリテーター エージェントが、会議のコンテキストだけでなく、自分が取り組んでいるプロジェクトやチームなどのコンテキストも含め、長期記憶を使用して、優れたファシリテーターになれるかどうかです。

    気が散りやすい役員会議でも、このエージェントは役に立ちます。役員会議のメンバーは四半期に一度集まり、Microsoft のような複雑な会社で何が起こっているかを把握しようとしています。ファシリテーター エージェントが実際に全員の話を逸らさず、重要な問題に集中できるようにサポートしてくれるのは素晴らしいことです。

  • 私たちが理解している「認知労働」と呼ばれる狭い範囲の物事に価値を置いてきたのは、人類の歴史の中でわずか 200 年だけです。

  • 歴史上認知労働のあり方を変えてきたツールを扱ってきたのに、なぜ私たちは認知労働がすべてなくなるのではないかと心配しているのでしょうか。