2017年、サツケバーはオフィスで、Googleの研究者が発表したばかりの論文を読んだ。その論文では「新しいシンプルなネットワークアーキテクチャ、Transformer」が提案されていた。彼は椅子から飛び上がり、廊下を駆け下りて、同僚の研究者たちに「今やっていることをすべて止めろ。これだ」と告げた。サツケバーは、TransformerがOpenAIがはるかに高度なモデルを訓練することを可能にする革新であると見抜いた。この発見から、最初の生成型事前学習済みTransformerが誕生した。これがChatGPTの種となった。