価値関数とは、「常にではないにしても、時にはあなたがうまくやっているか、うまくいっていないかを教えられるかもしれない」といった類のことを言います。価値関数という概念は、ある分野ではより有用ですが、他の分野ではより有用です。例えば、あなたがチェスをしていて駒を失ったとしましょう。それは私がミスをしたからです。私が今やったことが悪かった、そしてそれ以前の行動も悪かったとわかるのに、ゲーム全体をプレイする必要はありません。

価値関数を使うと、最後の最後まで待機時間を短縮できます。例えば、何らかの数学やプログラミングを行っていて、特定の解決策や方向性を模索しているとします。例えば、1000ステップ考えた後、この方向性は見込みがないと結論付けたとします。この結論に達した瞬間、1000ステップ前、つまりこの方向性を追求することを決めた時点で、既に報酬信号を得ている可能性があります。そして、実際に提案された解決策を思いつくずっと前に、「次回同じような状況になったら、この方向性を追求しない方がいい」と言うのです。