引用ジャングル

アモデイ氏がOpenAIに着任すると、元Googleの同僚たちが「Attention is All You Need（注意こそすべて）」という論文で、今日の生成AIを支える技術であるトランスフォーマーモデルを発表しました。このトランスフォーマーモデルは、従来の手法よりも高速な学習と、はるかに大規模なモデル化を可能にしました。この発見には大きな可能性があったにもかかわらず、Googleはほとんど放置していました。

一方、OpenAIは開発に着手し、2018年に初の大規模言語モデル「GPT」（「T」はTransformerの略）をリリースしました。このモデルは、しばしば破綻したテキストを生成しましたが、それでも従来の言語生成手法に比べて有意な改善を示しました。