引用ジャングル

トランスフォーマー:トランスフォーマーは、シーケンスの各部分が互いにどのように関連しているかを処理する「アテンション」メカニズムを使用するニューラル ネットワーク アーキテクチャの一種です。Amazon には、これが実際に何を意味するかを示す良い例があります。

次の入力シーケンスについて考えてみましょう。「空の色は何色ですか？」 トランスフォーマー モデルは、色、空、青という単語間の関連性と関係を識別する内部数学的表現を使用します。その知識を使用して、「空は青いです。」という出力を生成します。

トランスフォーマーは非常に強力であるだけでなく、他の種類のニューラル ネットワークよりも速くトレーニングできます。