引用ジャングル

かつては「もっと大きなモデル、何兆ものパラメータを持つモデルを作るぞ」という、あらゆるものがスケーリングピル化されていたからです。モデルのサイズは大きくなっていきましたが、今は小さくなっています。最先端のモデルは小さくなっています。当時でも、記憶する量が多すぎたと思います。ですから、少し前に、たとえ10億のパラメータでも非常に優れた認知コアが実現できるのではないかと予測していました。

10億のパラメータを持つモデルと会話すれば、20年後には非常に生産的な会話ができると思います。思考力があり、人間にかなり近づきます。しかし、事実に関する質問をすると、調べなければならないかもしれません。しかし、自分が知らないこと、調べなければならないかもしれないことを理解し、合理的な行動をとるだけです。