引用ジャングル

Self-Attentionは、文中の単語間の関係性を見つけ出し、変換エンジンに文脈を提供する技術です。例えば、「海賊が船を砲撃し、それ(船)は海の底に沈んだ」という文では、「船」と「それ」は文中で密接に関連していることが分かります。

したがって、変換エンジンが将来の文や予測において「船」と「それ」が密接に関連していることを理解できるように、船とそれのSelf-Attentionスコアを計算する必要があります。