スケーリングの時代がもたらした結果の一つは、スケーリングが部屋の空気をすべて吸い上げてしまったことです。スケーリングが部屋の空気をすべて吸い上げてしまったため、誰もが同じことをするようになりました。そして今、アイデアの数… 続きを読む »

しかし、もう一つの障害があるかもしれません。それは、人間のニューロンが私たちが考えている以上に多くの計算を行っている可能性があるということです。もしそれが真実で、それが重要な役割を果たすとしたら、事態はより困難になるかも… 続きを読む »

10代のドライバーが外部の教師なしに、どのようにして自己修正し、経験から学ぶことができるのかということです。答えは、彼らには独自の価値関数があるということです。ちなみに、彼らは一般的な感覚を持っており、これは人間において… 続きを読む »

人々がある種の高い信頼性を示すスキルを考えてみましょう。もしそのスキルが、何百万年、何億年もの間、私たちの祖先にとって非常に役立っていたものなら、人間がそのスキルに優れているのは進化によるものだと主張できるかもしれません… 続きを読む »

視覚についても同じことが言えます。ヤン・ルカンは、子供は10時間の練習で運転を覚えると言っていましたが、それは事実です。しかし、人間の視力は非常に優れています。少なくとも私自身は、自分が5歳だった頃を覚えています。当時は… 続きを読む »

人間のサンプル効率について考慮すべき説明の一つとして、進化が考えられるかもしれません。進化は、私たちに可能な限り有用な情報をほんの少しだけ与えてきました。視覚、聴覚、移動といった機能に関しては、進化が私たちに多くの情報を… 続きを読む »

最も根本的なことは、これらのモデルはどういうわけか人間よりも一般化が著しく劣っているということです。これは非常に明白なことです。非常に根本的なことのように思えます。 イリヤ・スツケヴェル – 私たちはスケーリングの時代か… 続きを読む »

今、人々は強化学習をスケーリングしています。Twitterでの発言を見ると、強化学習は実際にはかなりの計算リソースを消費するため、現時点では事前学習よりも強化学習に多くの計算リソースを費やしているようです。非常に長いロー… 続きを読む »

2020年まで、つまり2012年から2020年までは研究の時代でした。そして今、2020年から2025年まではスケーリングの時代です。プラスマイナス、誤差の範囲で考えてみましょう。なぜなら、人々は「これは素晴らしい。もっ… 続きを読む »

実際、Twitterで何人かが言っていることを踏まえると、Geminiは事前学習からより多くの成果を得る方法を見つけたように見えるかもしれません。しかし、ある時点で事前学習のデータが枯渇します。データは明らかに有限です。… 続きを読む »