私たちは、人間が「さて、どうすれば次の単語をうまく予測できるか」などと頭をひねってプログラムを書いたわけではありません。その代わりに、きわめて柔軟な一種のプログラミング手法を生み出したのです。

ニューラルネットワークをコンピュータプログラムだと思っていない人も多いですが、これはまぎれもないプログラムです。コンピュータ上で動き、何かを入力すれば処理がなされ、出力が返ってくる。まさにプログラムの定義そのものです。ただ、従来のプログラムと大きく異なるのは、その構造が「探索」しやすいように作られている点です。Pythonのプログラムは、少しでも書き換えればすぐに壊れてしまいます。一方、ニューラルネットワークは、少し変更を加えても、入出力がわずかに変化するだけです。おかげで、入力と出力が織りなす広大な空間をスムーズに探索していくことができるのです。

つまり、私たちには「知性の定義（＝予測）」があり、探索すべき「きわめて柔軟なプログラムの空間（＝ニューラルネットワーク）」がありました。そして、「バックプロパゲーション」という非常に強力な探索アルゴリズムを発明し、さらには「途方もない量の計算資源」を手に入れたのです。