メモリアーキテクチャは物理構造を決定します。メモリは単純なベクトル（リスト）にすべきか、行列（グリッド）にすべきか、それともディープニューラルネットワークのようなより複雑なものにすべきか。この選択は、保存できる情報量と、それをどれだけ柔軟に整理できるかを根本的に制限します。

注意バイアスは、モデルの優先順位を制御します。新しい情報が到着すると、システムは「これは記憶するほど重要か？」と判断する必要があります。モデルによって最適化の目的が異なるため、同一の入力に対してもモデルの動作が異なります。

リテンションゲートは忘却のメカニズムを管理します。驚かれるかもしれませんが、忘却は記憶と同じくらい重要です。もし脳があらゆる瞬間のあらゆる感覚的詳細を捉えていたら、認知能力が麻痺してしまいます。効果的な記憶システムは、信号を保持し、ノイズを除去する積極的なフィルタリングを必要とします。

メモリアルゴリズムは、新しい情報を既存のメモリに組み込むための数学的プロセスを定義します。アルゴリズムによって、速度、精度、安定性のバランスが異なります。