言語モデルが自らの発言内容を理解しているかどうかを検討する一つの方法として、哲学者ジョン・サールが1980年に提唱した「中国語の部屋」の思考実験を参照することが挙げられます。中国語の知識が全くない人が部屋に閉じ込められていると想像してみてください。部屋の外にいる人々は中国語で書かれた質問を送ります。しかし、部屋の中にいる人は、中国語の記号を操作する方法を説明した、自国語で書かれた膨大なルールブックを持っています。特定の文字セットが現れたら、その人は特定の文字セットで応答しなければなりません。このルールに従うだけで、その人は中国語で完全に適切な応答をすることができます。外部の観察者には、部屋の中にいる誰かが中国語を理解しているように見えるでしょう。しかし実際には、部屋の中にいる人は自分が書いている内容を理解しているわけではなく、単に形式的なルールに従って記号を操作しているだけなのです。