LLMの内部状態は非常に高次元の空間です。700億個のパラメータを持つLlama 3（安らかに眠れ）は、数万次元の隠れた状態を持っています。その空間内の各位置は、モデルの内部表現の何らかの構成に対応しており、コンテキストについて現在「信じていること」や、どの概念が活性化されているか、シーケンスの以前の段階で統合された情報などが含まれます。モデルが各トークンを生成すると、その状態は移動します。