人間の脳には推定860 億のニューロンがあり、リソースは膨大です。

今年も新しいプログラマーたちが、私たちのほとんどが「1年後、5年後、10年後にはプログラマーは必要なのだろうか？」と疑問に思う分野に参入しようとしています。2023年初頭の実存主義は落ち着きを見せていますが、まだ残っており、新しいプログラマーも業界の専門家も、OpenAIのChat GPTなどの大規模言語モデルがコード作成の仕事を引き継ぎ始めるのではないかと疑問に思っています。

GitHub Copilot は非常に有能なアシスタントです。コンテキストに応じたコード提案、複雑なコード スニペットの説明、さらにはコメントに基づく関数全体のドラフト作成などにより、開発者の能力を強化することに優れています。ただし、どこに助けを求めるかは依然として開発者次第であり、コードの実装、アーキテクチャ、機能に関する最終決定は人間が行います。

コード エディターCursorは、潜在的な問題をリアルタイムでフラグ付けするプロアクティブなアプローチにより、エージェントの領域に近づきつつあります。現在、Cursor は、ユーザーの説明に基づいてアプリケーション全体を作成する機能も備えており、真のエージェントに非常に近づいています。

ルンバ掃除機は、基本的なものではあるものの、真のエージェントに近いと言えます。ルンバ掃除機は能動的ではありませんが、定義された空間内で自律性を発揮し、独自の進路を定め、障害物や汚れのレベルに反応し、人間による継続的な入力なしにドックに戻ります。

たとえば、政治的暴動により旅行のルートを変更する高度な旅行アシスタントの機能は、単に迅速に反応するだけではありません。次のことが必要です。

・リアルタイムのニュースや政府のアドバイスフィードへのアクセス（認識）

・この情報が旅行に及ぼす影響を理解する能力（解釈）

・この理解に基づいて提案された計画を迅速に調整する能力（反応）

認識と反応性のこの相互関係は、真に反応性の高い AI システムの開発が複雑でリソースを大量に消費する理由を強調しています。迅速な対応だけでなく、環境を包括的に認識して、意味のあるタイムリーな対応を可能にすることが重要です。

AI の真の永続性には、ユーザー データの読み取りと書き込みの両方の機能が必要です。つまり、各インタラクションの後に新しい洞察を書き込み、この拡張された知識ベースから読み取り、将来のアクションに役立てるということです。優れた人間の旅行代理店が、通路側の席を好むことや、出張をミニ バケーションに延長することへの好みを記憶している様子を想像してみてください。強力な永続性を備えた AI も同様に、ユーザーに関する理解を継続的に構築し、参照します。

ChatGPT は選択的持続性の要素を導入しましたが、ほとんどの会話は事実上白紙の状態から進行します。真に持続的なシステムを実現するには、各プロンプトに関連するコンテキストを含む独自の長期記憶を構築する必要があります。

・入力が大きくなるにつれて、モデルがシーケンスの前の関連情報に注目する能力が低下し、近さバイアスが生じる。

・その結果、モデルは入力の後半部分の情報を優先し、前半のコンテキストと矛盾したり無視したりする可能性があります。

休暇の計画を任されたバーチャルアシスタントは、最初は目的地を提案するかもしれませんが、その後、当初の旅程を完了することなく、地元の料理について話し合うようになるかもしれません。

長いストーリーを書く課題では、LLM は冒頭で「ジョン」という名前のキャラクターを紹介するかもしれませんが、後で説明なしにそのキャラクターを「マイク」と呼ぶことがあります。

LLM は、長いテキスト シーケンスにわたって一貫性を維持できなかったり、複雑なコンテキストを理解するのに苦労したりして、矛盾した応答や無関係な応答につながることがあります。これは、エージェントを開発するときに特に当てはまります。エージェントはルート タスクに集中できず、計画項目で薄められ、コンテキストから外れてしまいます。「コンテキスト ドリフト」と呼ばれるこの現象は、いくつかの方法で現れます。