引用ジャングル

入力テキストはより小さな単位、通常は単語またはサブワードにトークン化されます。次に、これらのトークンは埋め込みと呼ばれる数値表現に変換されます。たとえば、「猫はマットの上に座った」という文は、[「The」、「cat」、「sat」、「on」、「the」、「mat」] にトークン化され、各トークンに一意のベクトル表現が割り当てられます。