品質とトークンコストのバランスを常に取っていると語る。特に、トークン使用量が現在までに前年比で100倍に増加しているためだ。そのため、オープンソースモデルとAnthropicやOpenAIのさまざまなモデルを常に切り替えている。しかし、出力品質が1%低下するだけでも、顧客に「かなり大きな」悪影響を与えると述べ、そのためモデル品質の追跡に多くの社内リソースを費やしている。通常、より新しく高価な推論モデルを約25～30%使用し、残りは独自のオープンソース版と大手研究所のより小さく安価なモデルに分けている。

クエリによっては、安価なモデルでも高価なモデルと同じくらい正確であることがわかったという。「オープンソースが実際に行っていることは、これらの企業に安価なモデルをより安価にするよう圧力をかけることです。なぜなら、そちらの方が利益率がはるかに高いからです」。

「オープンソースが実際に行っていることは、これらの企業に低価格モデルをさらに安くするよう圧力をかけることだ」。

「現実はこうです。何らかのコーディングを行う場合、オープンソースモデルは到底及ばず、それが今日の残念な現実です」