引用ジャングル

100%の精度に到達するのを阻んでいるものがいくつかあると思います。一つは、モデルに新しいことを学習させることです。例えば、コードベース全体を理解したり、組織のコンテキストを理解したりしながら、間違いから学ぶといったことです。そして、この分野には未だに、それに対する素晴らしい解決策がないと思っています。

解決策としては2つあります。1つは「コンテキストウィンドウ」を長くすることです。これは、これらの大規模言語モデルが認識できるテキストや画像のウィンドウが固定されていることを意味しますが、それには限界があります。それ以外は、組み立てラインから出てきたモデルと、モデルの頭の中に入力される新しい種類の情報だけです。これは人間の脳とは大きく異なります。なぜなら、人間は世界を歩き回り、脳は常に変化しているからです。人間は新しい情報を得て、それが何らかの形で記憶に残ります。もちろん、一部の記憶は薄れていきますが、ある程度は記憶に残ります。したがって、継続学習の問題に対する解決策の1つ目は、コンテキストウィンドウを非常に大きくすることです。

2つ目の解決策は、モデルをトレーニングすることです。つまり、モデルに新しいものや新しい機能を学習させたいと思ったら、その都度、それに関するトレーニングデータを収集し、それをモデルに投入するのです。どちらも大きな問題があると思いますが、それが一つの障害になっています。機械学習において、過去5年間の進歩は非常に速いにもかかわらず、業界全体では、新しいパラダイムシフトとなるような真に重要なアイデアが生まれる割合は非常に低いと私は考えています。