引用ジャングル

GenAI モデルは膨大な量のトレーニング データ (単語、画像、音声、動画) を取り込み、それを何らかの数学的な方法 (「埋め込み」と呼ばれる) で表現します。 たとえば、事前トレーニング フェーズでは、LLM がすべての入力テキストをトークン (単語と単語の一部) に分割し、各トークンに多次元ベクトル値を割り当てて、基本的にトークンを多次元空間に配置します。 (GPT-4 は 10 兆語でトレーニングされ、13 兆トークンに分割され、各トークンに 4,096 次元のベクトル値が割り当てられていると報告されています。)