モデル内部では、各処理ステップの後に興味深いことが起こります。モデルは、読み込んでいるテキストの内容に関する内部の「最善の推測」を更新します。例えば、犯罪小説を1ページずつ読んでいるとしましょう。次のページを読み進めるにつれて新しい情報が入ってくるので、犯人についての推測を常に修正していることになります。シャイ氏と彼の研究仲間は、この推測がモデル内部に実際に測定可能な構造を持っていることを発見しました。「ページ更新」は数十億もの数値にランダムに散らばっているのではなく、研究者が実際にマッピングして研究できる、一貫性がありかなり予測可能なパターンで整理されているようです。各層（注意機構と2つの広範なニューロン層）が、内部の「犯人は誰か」という推測を少しずつ洗練させていき、最終的にはモデルは入力の完全な作業像を得て、出力を生成する準備が整います。