階層化フェーズでは、段階的に(レイヤーごと、反復ごとに) 複雑さと洗練性を追加し、優先度と影響の順に機能を実装します。各反復の最後に、最終プロジェクト ビジョンに照らして検証し、次のレイヤーの範囲を理解する必要があります。この段階は非常に重要です。次の反復でより大きな範囲を取り込むと (複数の機能を追加したり、作業量を過小評価したりすると)、予期しない障害が発生し、作業が散漫になり、以前に完了したステップの焦点、勢い、流れ、満足度が失われる可能性があるためです。

この技術の利点は非常に大きいです:

・認知的負荷を軽減する
・コアコンセプトの早期検証を提供する
・それはさらなる発展への動機となる具体的な進歩を生み出す
・プロジェクトの理解が深まるにつれて、柔軟な適応が可能になります

映画監督であり技術革新者でもあるサー・アルフレッド・ヒッチコックを知らない人でも、彼の映画の象徴的なシーンをきっと思い出すでしょう。

ヒッチコックにとって、それぞれの映画は実験の場でした。彼は単に映画を作っただけではなく、私たちが知っている現代映画の言語と形を絶えず再考しました。次の引用は特に興味深いもので、皆さんの中にも共感する人がいると思います。

「脚本が完成したら、映画を作るのはやめたほうがいいでしょう。楽しいことはもう終わりですから。脚本が完成すると、映画は完璧になります。しかし、撮影すると、当初の構想の 40 パーセントくらいは失われてしまうでしょう」

フランツ・カフカは作家であり、実存主義の実験者でもありました。カフカは物語を書いたのではなく、心理学の実験を行ったのです。彼の断片的な原稿は不完全ではなく、人間の不確実性を意図的に探求したものでした。「ダンテ」であり、20世紀最大の作家の一人である彼は、長編小説を1冊も完成させず、作品の約90パーセントを焼き捨て、死後、親友のマックス・ブロートに何千もの草稿を残しました…

レオナルド・ダ・ヴィンチを考えてみましょう。彼のノートは限りない知的探求の生きた記録でした。彼は主に画家として知られていますが、製図家、エンジニア、科学者、理論家、彫刻家、建築家として、13,000 ページの研究を記録しました。言うまでもなく、それらの作品の大部分は未完成でした。彼のアプローチは、重要な洞察を明らかにしています。変革をもたらす開発者は、あらゆるプロジェクトを粘り強く完了させる人ではなく、好奇心と適応力を持ち続ける人です。

AI は特定のゲームごとに何百万ものゲームを自分自身でプレイします。チェスの場合、AlphaZero は 4,400 万ゲーム、囲碁の場合は 1 億 3,000 万ゲームをプレイしました!

Pluribus や AlphaZero とは異なり、Cicero は主にセルフプレイと強化学習によってトレーニングされるわけではありません。Meta チームは、アルゴリズムのトレーニングに 125,000 以上のゲームと 40,000,000 以上のメッセージを含むデータセットを使用しました。彼らは、ゲームの交渉、説得、信頼構築の側面を考えると、AI がセルフプレイを通じて自分自身と交渉すると奇妙な動作が見られ、人間の相互作用の本質を捉えられない可能性があると考えました。彼らの研究論文を引用します。

「…2人対戦バージョンのゲームでは超人的なパフォーマンスを達成したセルフプレイアルゴリズムは、潜在的な人間の味方の規範や期待と一致しないポリシーを学習したために、複数の人間プレイヤーとのゲームではパフォーマンスが悪かったことがわかりました」

ディプロマシーは 2 ～ 7 人のプレイヤーがプレイする戦略ゲームで、リスク、ポーカー、テレビ番組「サバイバー」をミックスしたものだと説明しています。プレイヤーは 1900 年頃のヨーロッパの地図からスタートし、補給センターの過半数を支配することが目的です。具体的には、プレイヤーは 34 の補給センターのうち 18 を支配して勝利を目指します。そうすることで、プレイヤーは事実上地図を支配し、第一次世界大戦に至る期間における自国のヨーロッパでの優位性を表します。

これまで取り上げてきた他の多くのゲームと Diplomacy を区別する点は、プレイヤー間の交渉に依存している点です。これは、たとえばポーカーよりもはるかに協力的な形式のプレイです。各プレイヤーは、各ターンの前に自然言語を使用して他のプレイヤーとコミュニケーションを取り、互いに同盟を結ぶ計画を立てます。準備が完了すると、すべてのプレイヤーが同時に計画を明らかにし、ターンが実行されます。このタイプのゲームは、他のほとんどのボードゲームよりも実際の外交や現実の交渉に近いことは明らかですが、自然言語コンポーネントがあるため、AI が習得するのは非常に困難でした。

しかし、2022年にMetaのAIチームがCiceroを開発して状況は一変しました。言語モデリングの最新の進歩と戦略モジュールを組み合わせたCiceroは、「人間のプレイヤーの平均スコアの2倍以上を達成し、複数のゲームをプレイした参加者の上位10％にランクイン」したゲームエンジンでした。

AI で解くのは非常に難しいことが判明しました。

ポーカーを解くのが困難になる要因は複数あります。まず、他のプレイヤーがどのカードを持っているかわからないため、隠された情報の問題があります。次に、多くのプレイヤーがいるマルチプレイヤー設定があり、プレイヤーが増えるごとに、可能な相互作用と戦略の数が指数関数的に増加します。3 番目に、制限のない賭けルールがあり、これにより、1 人のプレイヤーが突然スタック全体を賭けることを決めることができる複雑な賭け構造が可能になります。4 番目に、ホールカード、コミュニティ カード、賭けシーケンスの組み合わせにより、ゲーム ツリーが非常に複雑になります。さらに、カードの確率的性質、ブラフの可能性、対戦相手のモデリングによる複雑さもあります。

2019年になってようやく、6人制のノーリミットテキサスホールデムで世界最高のプレイヤーに勝利した、新しいポーカーAI「Pluribus」について説明しています。

そのテクニックには次のようなものがあります。

1.動きを評価するために 2 つの異なるアルゴリズムを使用します。最初に、モンテ カルロ反事実的後悔最小化と呼ばれる方法を使用してプログラム自身と対戦させることによって作成された、いわゆる「ブループリント戦略」を使用します。このブループリント戦略は最初の賭けラウンドで使用されますが、その後の賭けラウンドでは、Pluribus はリアルタイム検索を実行して、より優れた、より詳細な戦略を見つけます。

2.リアルタイム検索アルゴリズムの計算効率を高めるために、彼らは深度制限検索を使用し、対戦相手が選択する可能性のある 4 つの異なる戦略を評価します。まず、2 手先までの各戦略を評価します。さらに、対戦相手に対して、元のブループリント戦略、フォールドに偏ったブループリント戦略、コールに偏ったブループリント戦略、レイズに偏った最終的なブループリント戦略の 4 つの異なる戦略のみを評価します。

3.彼らはまた、さまざまな抽象化技術を使用して、ゲームの状態の可能性の数を減らしました。たとえば、9 ハイ ストレートは 8 ハイ ストレートと基本的に似ているため、これらは同じように見ることができます。

4.Pluribus は、連続した賭け空間を限られたバケットのセットに離散化することで、さまざまな賭けのサイズを検討および評価しやすくします。

5.さらに、Pluribus は、プレイしている特定のハンドに対して、その状況で可能性のある他のハンドも考慮し、それらのハンドをどのようにプレイするかを評価するという方法で戦略のバランスを取ります。これにより、最終的なプレイがバランスが取れ、対抗するのが難しくなります。

Pluribus から得られる興味深い観察結果はかなり多いのですが、おそらく最も興味深いのは、Pluribus がさまざまな対戦相手に対してプレイを変えるのではなく、さまざまなプレイヤーに対して効果的な堅牢な戦略を開発している点です。多くのポーカー プレイヤーは、さまざまな状況や相手に合わせてプレイを調整する必要があると考えていますが、Pluribus が対戦相手全員に勝ったことから、これは必要なく、おそらく最適でもないことがわかります。