引用ジャングル

「LLM は数兆語のテキストに触れ、訓練されますが、人間の言語の「訓練」ははるかに遅い速度で行われます。たとえば、人間の幼児や子供は、両親、教師、兄弟、友人、周囲の人々から、1 日に平均約 20,000 語を聞きます。つまり、最初の 5 年間で、子供は約 3,650 万語に触れ、または「訓練」される可能性があります。これに比べて、LLM は数週間または数か月という短い期間内に数兆語のトークンで訓練されます」