引用ジャングル

・入力が大きくなるにつれて、モデルがシーケンスの前の関連情報に注目する能力が低下し、近さバイアスが生じる。

・その結果、モデルは入力の後半部分の情報を優先し、前半のコンテキストと矛盾したり無視したりする可能性があります。