70年間、優秀な研究者たちは手作業で知能を構築しようと試み続けてきた。彼らはチェスプログラムに優れたチェスの原則を丁寧に教え込み、翻訳システムに文法の規則を愛情込めて組み込んだ。しかし、十分な時間が経つにつれ、膨大なデータと計算能力を問題に投入するだけの、より単純で汎用的なアプローチが現れ、手作業で作り上げたバージョンをことごとく打ち負かしてきた。巧妙に設計された人間のソリューションは頭打ちになり、力任せに規模を拡大するソリューションは上昇し続けた。

それが苦いところだ。苦いのは、私たちの賢さ、思考の仕組みに関する洗練された理論が、ほとんどの場合、邪魔になるだけだということを示唆しているからだ。歴史が繰り返し教えている教訓はこうだ。賢ぶるのをやめ、計算能力を高め、より多くのデータを与え、邪魔にならないようにしろ。

大規模言語モデルは、苦い教訓を論理的に極限まで突き詰めたものだ。誰もGPTに比喩とは何か、Pythonの書き方を教えたわけではない。膨大な量のテキスト、つまりインターネット上の読みやすいテキストを取り込み、次の単語を何十億回も予測するという、実に単純なことをモデルに学習させたのだ。そして、その無意味な「次の単語」ゲームから、驚くほど流暢さと推論力に似たものが生まれたのである。