AIエージェントがコード行レベル(オートコンプリートの候補表示、関数の予測など)で動作していた頃は、誤った仮定によって誤ったコード行が生成されていました。それを発見し、修正し、先に進むことができました。しかし、Claude Codeのようなエージェントは現在、プロジェクトレベルで動作します。コードベース全体を読み込み、複数ファイルのリファクタリングを実行し、テストスイートを実行し、コードを自律的にコミットします。この規模での誤った仮定は、リポジトリ全体に連鎖的に影響を及ぼします。
Andrej Karpathy さんはこのことを身をもって体験しました。主に手動コーディングから、約 80% エージェント駆動型開発に移行した後、彼は失敗パターンの非常に率直なリストを文書化しました。その観察結果は瞬く間に広まりました。