LLMのトークンコンテキストの可用性は、書籍のサイズに例えることができます。100万トークンのコンテキストウィンドウには、ロード・オブ・ザ・リング三部作が収まるほどです。100万トークンのコンテキストウィンドウを有効活用しようとすると、コンテキストの劣化による飽和限界に達するため、実際には最大20万トークン、つまりホビットが限界です。コード1行が約10トークンだとすると、Linuxは3億トークン、つまり約1,500ホビットになります。一般的な大規模エンタープライズのコードベースは約100億トークンで、なんと5万ホビットにもなります。そして、1,000億トークンの大規模エンタープライズでは、なんと50万ホビットにもなります！