引用ジャングル

AIは2つの方向に進む傾向があると思います。拡張の波と最適化の波です。拡張とは、何ができるかを発見する段階です。2、3年前のモデルを考えてみると、確かに高価でした。今では、それらのモデルのほとんどはラップトップで学習できます。なぜなら、モデルは最適化できる状態になっているからです。エンジニアが大好きなことの一つは最適化です。ですから、「これがうまく動作するので、最適化してください」と言えば、人々は熱心に取り組みます。2、3年前のモデルの中には、今まさにそうなっているものもあります。

ゼロから学習させるのは非常に安価です。まだ拡張段階にある新しいモデルもあると思います。それらをどのように最適化するかはまだ正確には解明していませんが、いずれ解明するでしょう。しかし、最適化に時間をかけすぎると、同じことが起きます。つまり、トレードオフとして、新しい拡張が機能しなくなるのです。最近の企業の多くは、拡張に賭けていると思います。つまり、うまく機能するものを最適化してコストを削減しようとするのではなく、拡張することで遅れを取らないようにするために、より多くの費用を投じているのです。