学習サブシステムは強力な学習アルゴリズムであり、一般化が可能だからです。ステアリングサブシステムは生得的な反応です。ステアリングサブシステムには、視床下部や脳幹など、脳の下位領域が組み込まれています。繰り返しますが、これらの領域には独自の原始的な感覚システムがあります。

つまり、生得的な反応があるのかもしれません。もし、以前そこにあったとは思わなかった何かが、私の体に向かって速く動いているのを見たら、それは小さくて暗くてコントラストが強いものかもしれません。もしかしたら、私の体に飛び込んできた昆虫かもしれません。私はひるむでしょう。こうした生得的な反応があるのです。例えば、視床下部には「ひるんでいる」とか「ひるんだ」というニューロン群があるはずです。

まず第一に、ひるむと、報酬関数にマイナスの影響を与えます。おそらく、そんなことは望んでいなかったでしょう。しかし、これは一般化のない報酬関数です。私は、まさにその物体がこちらに向かってくる状況を避けようとしています。もしかしたら、物体がひるむ原因となる行動も避けようとしているのかもしれません。これは、スティーブが報酬関数の下流と呼ぶ、実現可能な一般化です。私は蜘蛛がこちらに向かってくる状況を避けようとしていますが、同時に何か他の行動も取ろうとしているのです。

たとえば、扁桃体の一部が「さて、数ミリ秒、数百ミリ秒、あるいは数秒早く、私はそのひるみの反応を予測できただろうか？」と言っているでしょう。それは、本質的には「私はひるみそうか？」を分類するニューロンのグループになるでしょう。そして、進化が処理する必要のあるすべての重要なステアリングサブシステム変数に対して、そのための分類器を用意するつもりです。私はひるみそうか？私は友人と話しているのか？今笑うべきなのか？その友人は高い地位にあるか？視床下部、脳幹に含まれるあらゆる変数…私は塩の味がしそうなのか？

これらすべての変数を持ち、それぞれに予測子が与えられます。そして、その予測子を訓練します。訓練される予測子は、ある程度の一般化を持つことができます。一般化できる理由は、全く異なる入力を持つからです。入力データは「蜘蛛」のような単語かもしれませんが、「蜘蛛」という単語は、世界モデルの中で「蜘蛛」という単語が活性化するような様々な状況で活性化する可能性があります。非常に複雑な特徴を持つ複雑な世界モデルであれば、本質的にある程度の一般化が得られます。単に私に向かってくるものだけでなく、「蜘蛛」という単語や「蜘蛛」という概念でさえも、それをトリガーするのです。この予測子はそれを学習できます。私の世界モデルの中にどんな蜘蛛のニューロンがあっても、それは蜘蛛に関する本や蜘蛛のいる部屋など、何であっても構いません。