インターネット上の「次の単語」を予測させる、ただそれだけです。これが、ある意味で私たちの知性の物差しなのです。「予測」こそが「知性」である、と。そう思いませんか？　考えてみれば、私がGoogle Researchのチームに加わった当初から、この大規模言語モデリングという課題に惹かれていました。なぜなら、「次の単語を予測せよ」という、あまりにもシンプルな問いだからです。しかし、あらゆる次の単語を予測できるようになるには、実質的に世界のすべてを理解しなくてはなりません。このシンプルな問いから、すべてが生まれてくるのです。

例えば、「1 + 2 =」に続いて「3」と予測するには、算術ができないといけません。「猫はフランス語で」に「chat」と続けるには、翻訳能力が必要です。「アメリカ合衆国大統領は…」の次を予測するには、知識が要ります。難解な科学論文の単語を予測するためには、その背景にある研究を理解し、論理的に思考する力さえ求められるのです。

このように、「次の単語をいかにうまく予測できるか」という尺度は非常にシンプルですが、結果としてAIはこれらすべてのスキルを学ぶことになります。