2018 年にイリヤ・スツケヴァー氏がマスク氏、ブロックマン氏、アルトマン氏とともにOpenAI を共同設立し、今日の NLP サイエンスへの第一歩を踏み出しました。彼は 2 つの新しいアイデアを使用しました。1 つは、数年前に導入された Transformers と呼ばれる新しいアーキテクチャです。2 つ目は、モデルを自動的にトレーニングする方法です。この方法は信じられないほど単純でした。必要なのは、どこかから既存の文を取得し、モデルにいくつかの単語を与え、次の単語を予測するようにトレーニングすることだけでした。人間が関与しなくなったため、残された主な問題は、モデルをトレーニングできるテキスト マテリアルについてでした。これほど膨大な量のテキストはどこで見つけるのでしょうか。探す必要はありません。ここがワールド ワイド ウェブです。インターネット全体がオープンで公開されており、私たちが利用できるようになっています。

イリヤは、Transformer、そしておそらくもっと重要なのは、次単語予測を用いて大規模にモデルをトレーニングすることで、言語モデルに理解力を与えることができるという仮説を立てました。そして、彼の考えは正しかったのです。