「トークン」という言葉は、実際に何を意味するのかについて誰も合意していないにもかかわらず、人々が頻繁に使用する用語の一つだからです。

トークンとは、テキストのまとまりのことです。必ずしも単語や文字である必要はなく、実際にはその中間のものです。「cooking」という単語は1トークン、「I am cooking」というフレーズは3トークンです。長い文は15トークン、文脈や指示を含む詳細なプロンプトは300トークン、コードファイル、ドキュメント、エラーログ、会話履歴などが詰め込まれた大きなコンテキストウィンドウは5万トークンにもなることがあります。

AIに何かを送信するたびに、入力するトークンの料金が発生します。そして、AIが応答すると、出力されるトークンの料金が発生します。

入力にも出力にも費用がかかります。入力と出力のやり取りが頻繁に行われ、ファイルが添付され、コンテキストが蓄積され、修正が飛び交うような長時間の作業セッションでは、これらの費用は想像以上に早く積み上がってしまいます。

問題は、AIはセッション間で記憶を保持せず、新しい会話を始めるたびにゼロからやり直す必要があるということです。残念ながら、これが現実です。そのため、昨日AIが知っていたことを思い出させたい場合は、毎回同じことを伝えなければなりません。すべてのコンテキストをAIに詰め込む必要があり、そのたびにトークンを消費します。

残念ながらこれが現状のアーキテクチャなのですが、つまり、作業の構成方法やプロンプトの書き方、あるいはある瞬間から次の瞬間にどれだけのコンテキストを引き継ぐかによって、必要以上に10倍ものトークンを使うことになるのか、それとも無駄を省くことになるのかが決まるということです。