MiroFishは、予測結果と実際の結果を比較するベンチマークをまだ公開していません。デモは方法論の提示であり、精度の証明ではありません。これは重要な違いです。シミュレーションがもっともらしい社会動態を生み出すことを示すことと、その動態が実際の人間の行動を正しく予測することを示すことは同じではありません。予測エンジンの精度を厳密にテストする方法という検証問題は、非常に難しく、未だ解決されていません。

エージェントバイアスの問題は、技術的に見てより興味深い。LLMエージェントは、実際の人間よりも群集行動の影響を受けやすい傾向があり、シミュレーション上の群衆は実際の群衆よりも早く二極化する可能性がある。これはランダムなエラーではなく、基盤となる言語モデルのトレーニングデータとアーキテクチャから受け継がれた体系的なバイアスである。現実よりも早く二極化するシミュレーションは、常に極端な予測結果を生み出す。これを修正するには、実際の社会データに対する広範なキャリブレーション、またはエージェントの推論プロセスに対するアーキテクチャの変更が必要となる。どちらもまだ実施されていない。

計算コストも相当な額に上ります。各エージェントは推論シミュレーションのためにLLM API呼び出しを必要とし、数千のエージェントが同時に数千の推論要求を生成します。GPT-4クラスのモデルで1万エージェントのシミュレーションを実行すると、1回あたり数百ドルの費用がかかります。そのため、政策テストや財務予測に最も役立つ規模でのリアルタイムかつ継続的なシミュレーションは、法外なコストがかかります。モデルコストが下がるにつれて経済性は向上し、コストは急速に低下していますが、現状ではコスト制約は依然として大きな問題です。

最後に、いかなる工学的改良も完全には解決できない、より根源的な哲学的限界が存在する。それは、どれほど複雑で高度なシミュレーションであっても、人間は究極的には本物の人間ではないということだ。シミュレーションは社会力学のモデルに過ぎない。あらゆるモデルには前提条件があり、その前提条件は間違っている可能性がある。MiroFishは、最良の場合、未来を確実に予言する水晶玉ではなく、シナリオがもたらす影響を厳密に考察するための手段を提供するに過ぎない。