GPT-4クラスの性能を実現するには、2022年後半には100万トークンあたり20ドルのコストがかかっていた。現在では0.40ドルで済む。わずか4年間で50分の1にまでコストが削減された。

どのエンジニアリングリーダーにAI関連費用が下がったか尋ねても、誰も「はい」とは答えないだろう。

推論コストの低下は支出の削減にはつながらなかった。むしろ、開発の足かせを取り除いたのだ。かつては構築コストが高すぎて実現不可能だったもの、つまりより長いコンテキスト、より多くのエージェントステップ、よりリッチなパイプラインなどが、今では実現可能になった。チームはより多くのものを開発するようになり、トークンあたりのコストは低下し、トークンの総取引量は爆発的に増加した。結果として、純支出は増加した。