引用ジャングル

Stockfishのような最新かつ最高のシステムでさえ、明示的な盤面モデルを備えています。チェス盤とその履歴に関するシステム内部モデルは、特定の世界の明示的、動的、更新可能なモデルという意味で、ワールドモデルです。

盤面の適切かつ明示的なモデルを持たないLLMでは何が起こるのでしょうか？LLMには、チェスのゲームのデータベースやチェスに関する書籍などから収集された、チェスに関する大量の情報が保存されています。

これにより、彼らはチェスのゲームのオープニングムーブメントでかなり上手くプレイできるようになります。

しかし、ゲームが進むにつれて、データベースにあるゲームを単に真似するだけではだんだん頼れなくなっていきます。中盤になると、その可能性は数十億に上ります。

それで何が起こるでしょうか？中盤になると、LLMはしばしば迷子になります。ゲームが進むにつれてプレイの質が低下するだけでなく、LLMは違法な動きをし始めます。

なぜでしょうか? どの動きが可能か (または不可能か) がわからないのは、盤面の状態の適切な動的世界モデルを誘導しないからです。

LLM はチェスをプレイすると主張するかもしれませんが、おそらく何百万ものゲームを網羅するトレーニング、すべてのシステムのトレーニング セットに確実に含まれている wiki ページ「チェスのルール」 、chess.com のチェスの遊び方などの無数のサイト (おそらく最近の大規模モデルのデータベースにも含まれている) にもかかわらず、 ゲームを完全に抽象化することはできません。

ChatGPTに「クイーンはナイトをジャンプできますか？」と尋ねたところ、ChatGPTは「いいえ」と的確に答え、完璧かつ詳細な説明をしてくれました。

しかし、実際のゲームでは、ChatGPT はまさにそれを実行し、オウム返しできることと実際に行うことを統合できないことがあります。

つまり、ChatGPT はチェスのゲームを近似することはできますが、 (膨大な関連証拠にもかかわらず) ボードとルールの適切な世界モデルを誘導しないため、確実にプレイすることはできません。

これが LLM ベースの AI へのアプローチにおける最も深刻な問題の縮図なのです。