引用ジャングル

現在、LLMが本を読むということは、テキストのシーケンスを引き伸ばし、モデルが次のトークンを予測して、そこから知識を得ていることを意味します。これは人間が行うこととは全く異なります。本を読んでいる時、私はその本が、私が注意を払い、訓練すべき説明だとさえ感じません。本は、私が合成データを生成するための、あるいは読書クラブに行って友人と本について語り合うための、一連のヒントです。実際に知識を得るのは、その情報を操作することによってです。LLMにはこれに相当するものはありません。LLMは実際にはそのようなことをしていません。