引用ジャングル

トークン:トークンとは、単語、単語の一部、または個々の文字などのテキストの塊を指します。たとえば、LLM はテキストをトークンに分割して分析し、トークン同士の関係を判断し、応答を生成します。モデルが一度に処理できるトークンの数が多いほど (「コンテキスト ウィンドウ」と呼ばれる量)、結果がより洗練されます。