位置エンコーディング。これは、文中の語順を追跡するために使用されます。なぜなら、全く同じ単語でも意味が異なる2つの文が存在する場合があるからです。例："The bat ate the cat" と “The cat ate the bat"。