引用ジャングル

私たちが知る限り、最も学習能力が高いのは子供たちですが、彼らは情報を思い出すのが非常に苦手です。実際、幼少期のごく初期には、全てを忘れてしまいます。ある特定の年月日以前の出来事は、まるで記憶喪失のようです。しかし、新しい言語を習得したり、世界から学んだりするのは非常に得意です。もしかしたら、木を見て森を見ず、といった要素があるのかもしれません。

一方、スペクトルの反対側と比較すると、LLM事前学習があります。これらのモデルは、Wikipediaのページに続く内容を文字通り一語一句正確に暗記できます。しかし、子供のように抽象的な概念を非常に速く学習する能力ははるかに限られています。一方、大人はその中間に位置し、子供のような学習の柔軟性はありませんが、子供には難しい方法で事実や情報を記憶することができます。