これは、アインシュタインの古い表現である「遠隔作用」に似ています。これは、単に「トークン」と呼ばれる、次に来るものへの近さだけでなく、その言語が文法の文脈に埋め込まれている全体的な文脈も意味します。つまり、遠くにあるものが、次に来るトークンにどのような影響を与えるかという点で、実は驚くべき影響力を持つのです。

つまり、「このボックスは赤いから、次に何色かが出てくるはずだ」と言うほど単純な話ではないのです。そんなに単純ではありません。学習に使われたコンテキスト全体と大きく関係しています。つまり、この「遠くで不気味な動き」は、それがどのように見えるかを示唆しているのです。ところが、奇妙なことに、2017年にGoogleでさえ驚いたことに、近年のAI開発の多くを牽引した、いわゆる「トランスフォーマー」の論文が注目を集めた時、それが言語処理のために作られたことが判明しました。Google翻訳アプリケーションのコンテキストで使用するために作られたのです。彼らは「これはなかなかいい。それほど悪くない」と考えました。しかし、言語自体に埋め込まれた「近くと遠くの予測」や「遠くの不気味な行動」という概念、つまり注意という概念によって、私たちが知識と呼んでいるものの多く、つまりほとんど推論のように見えるものの多くを実際に捉えることができるという考えは、誰にとっても驚きであり、それが Google がそれを放置した理由です。