Waymoが初めて導入された頃は、助手席に人が座っていて、何か重大な問題が発生した場合に監視できるように、必ずそこにいなければなりませんでした。今でも、物事が順調に進んでいるかを確認するために、人が見守っています。最近導… 続きを読む »

仕事の中には、早期に自動化できるような特徴を持つものがあります。例えば、コールセンターの従業員がよく挙げられますが、それは当然のことだと思います。コールセンターの従業員は、現在自動化可能なものと比べて、いくつかの単純化さ… 続きを読む »

今日、AI で置き換えられる仕事は何でしょうか。最近の良い例は、放射線科医はもはや仕事ではなくなるだろうというジェフ・ヒントンの予測でしたが、これは多くの点で非常に間違っていたことが判明しました。コンピューター ビジョン… 続きを読む »

AIや初期のAGIについて人々が語る時、そしてOpenAIが設立された当時私たちが話していたように、AGIとは経済的に価値のあるあらゆるタスクを人間のパフォーマンスかそれ以上のレベルで実行できるシステムだと。それが当時の… 続きを読む »

10億より小さい方がいいと思ってるんですか？ まあ、いいでしょう？ よく分かりません。面白いことをするには、少なくとも10億個のノブが必要になるはずです。もっと小さい方がいいと思ってるんですか？ 10億パラメータの認知コ… 続きを読む »

問題は、トレーニングデータがインターネットだということです。インターネットは本当にひどいものです。インターネットがひどいからこそ、莫大な利益が得られる可能性があります。インターネットと言っても、私たちがインターネットにつ… 続きを読む »

かつては「もっと大きなモデル、何兆ものパラメータを持つモデルを作るぞ」という、あらゆるものがスケーリングピル化されていたからです。モデルのサイズは大きくなっていきましたが、今は小さくなっています。最先端のモデルは小さくな… 続きを読む »

人間は実は記憶力がそれほど得意ではないのですが、これは実は特徴の一つです。記憶力がそれほど得意ではないため、より一般的な意味でパターンを見つけざるを得ないのです。 それに比べて、LLMは記憶力が非常に優れています。あらゆ… 続きを読む »

私たちが知る限り、最も学習能力が高いのは子供たちですが、彼らは情報を思い出すのが非常に苦手です。実際、幼少期のごく初期には、全てを忘れてしまいます。ある特定の年月日以前の出来事は、まるで記憶喪失のようです。しかし、新しい… 続きを読む »

頭の中で何かを生成し、それに意識を集中させるということは、自分自身のサンプル、つまり合成データで訓練していることになると思います。それを長く続けると、軌道から外れて、ひどく崩壊してしまいます。人生では常にエントロピーを求… 続きを読む »