引用ジャングル

32ビットの数値の代わりに8ビットの浮動小数点数を使用できる新しいトレーニング方法

おそらく、この論文の最も重要なブレークスルーの 1 つは、トレーニングに「業界標準」の 32 ビット数値ではなく 8 ビット浮動小数点数値を使用したことです。ここでのトレードオフは、8 ビットでは精度がいくらか犠牲になるものの、大量のメモリを節約できることです。しかし、DeepSeek は独自のシステムを開発し、数値を小さなタイルとブロックに分割し、重要なポイントでネットワークの高度な計算を使用しました。そうすることで、パフォーマンスをあまり犠牲にすることなく、大量のメモリを節約できたようです。メモリはトレーニング プロセスで非常に重要です。これは、Nvidia GPU が LLM のトレーニング プロセスを支配している主な理由の 1 つでもあります。LLM をトレーニングする場合、相互に通信する複数の GPU と、チップ外部の HBM メモリを使用する必要があります。Nvidia が強力な防御壁を持っている理由の 1 つは、AMD などの他の GPU プロバイダーと比較して、GPU とメモリ間の通信が最高であることです。