重みが事実関係を符号化する方法はデータベースとは異なります。重みを開いて「フランスの首都はパリ」というエントリを見つけることはできません。この関連性はフィードフォワード層とアテンション機構の重み行列全体に分散され、パラメータ空間の幾何学的構造に符号化されていますが、人間には読み取れません。これが、このモデルを非常に強力にしている理由(膨大な量の構造化された知識を数十億個の重みとニューロンに圧縮できる)であると同時に、解釈を非常に困難にしている理由でもあります(知識がネットワーク全体に重なり合ったパターンで散在しているため)。