このタスクでは、200万トークン（複数の書籍全体）を超える文書全体に事実を隠蔽し、AIにそれらの隠された詳細を見つけて関連付けさせるような質問をします。

世界で最も強力かつ高価なモデルの一つであるGPT-4が、深刻な問題に直面しました。文書の長さが長くなるにつれて、精度はまずまずのレベルから実質的に役に立たないレベルまで急落しました。これはマイナーモデルではありません。GPT-4の学習には数十億ドルもの費用がかかり、従来のアーキテクチャの頂点を極めたモデルです。

Mamba やその他のベースラインも、コンテキストが拡張されると失敗しました。

Titansは、他のすべてが破綻するような極端に長いシーケンスでも、高いパフォーマンスを維持しました。元の研究論文によると、Titansは200万トークンを超えるシーケンスを含む、針の中の干し草の山のようなタスクで優れた結果を達成しました。そして注目すべき点は、TitansはGPT-4よりも大幅に小さく、パラメータと学習コストも数分の1で済むことです。Titansは、過剰な計算力ではなく、アーキテクチャの革新によって優れた結果を達成しています。