「引用ジャングル」カテゴリーアーカイブ

人間は実は記憶力がそれほど得意ではないのですが、これは実は特徴の一つです。記憶力がそれほど得意ではないため、より一般的な意味でパターンを見つけざるを得ないのです。 それに比べて、LLMは記憶力が非常に優れています。あらゆ… 続きを読む »

私たちが知る限り、最も学習能力が高いのは子供たちですが、彼らは情報を思い出すのが非常に苦手です。実際、幼少期のごく初期には、全てを忘れてしまいます。ある特定の年月日以前の出来事は、まるで記憶喪失のようです。しかし、新しい… 続きを読む »

頭の中で何かを生成し、それに意識を集中させるということは、自分自身のサンプル、つまり合成データで訓練していることになると思います。それを長く続けると、軌道から外れて、ひどく崩壊してしまいます。人生では常にエントロピーを求… 続きを読む »

夢を見ることが、こうした過剰適合や崩壊を防ぐ方法であるという、とても興味深い論文をご存知ですか？夢が進化的に適応的である理由は、こうした過剰適合を防ぐために、私たちを日常の現実とは全く異なる奇妙な状況に置くためです。 ア… 続きを読む »

人間は時間の経過とともに崩壊していくとも考えています。この例えは驚くほど的を射ています。人間は人生の過程で崩壊していくのです。だからこそ、子どもたちはまだ過剰適応していないのです。彼らは、その思考回路が理解できるため、あ… 続きを読む »

現在、LLMが本を読むということは、テキストのシーケンスを引き伸ばし、モデルが次のトークンを予測して、そこから知識を得ていることを意味します。これは人間が行うこととは全く異なります。本を読んでいる時、私はその本が、私が注… 続きを読む »

強化学習は、平均的な人が考えているよりもはるかに悪いものです。ひどいものです。ただ、強化学習以前のものはすべて、それよりもはるかに悪いのです。以前はただ人間を真似していただけだったので、様々な問題を抱えているのです。 強… 続きを読む »

人間の進化は3ギガバイトのDNAを通して滴定されなければならないということです。これはモデルの重みとは全く異なります。文字通り、モデルの重みは脳であり、精子や卵子には脳は存在しないため、成長させる必要があります。また、脳… 続きを読む »

動物における強化学習はほとんどないと思います。強化学習の多くは運動課題に近く、知能課題ではありません。ですから、人間は大まかに言えば、実際には強化学習をあまり使っていないのではないかと思います。 アンドレイ・カルパシー … 続きを読む »

シマウマは生まれて数分後には走り回り、母親の後をついていきます。これは非常に複雑な動作です。これは強化学習ではなく、すでに備わっているものです。進化には明らかに、ニューラルネットワークの重みをATCGにエンコードする何ら… 続きを読む »