引用ジャングル

これらのエラーの根本的な原因は、LLM が数値入力をトークン化して処理する方法にあります。数値は一貫性のない方法で個別のトークンに分割されることがよくあります。

例えば：

・「380」は単一のトークンとしてトークン化される可能性がある。

・「381」は「38」と「1」の2つのトークンに分割できます。

・「3000」は1つのトークンである可能性があるが、「3100」は「3」と「100」に分割される可能性がある。

この一貫性のないトークン化により、モデルが数値の一貫した理解を維持することが困難になります。