引用ジャングル

Patel ら (2021) による研究では、GPT-3 は優れた言語機能にもかかわらず、基本的な算術タスクに苦労していることがわかりました。3 桁を超える数字の計算では、モデルの精度が大幅に低下しました。

Zhang ら (2022) による別の研究論文では、LLM は正確な数値推論を必要とするタスクではパフォーマンスが低いことが実証されました。彼らは、GPT-3 や PaLM のような最先端のモデルでさえ、数値推論問題のデータセットで 50% 未満の精度を達成したことを発見しました。