引用ジャングル

GPU は従来、16 ビットまたは 32 ビットで数値を表します。しかし、機械学習の専門家は、一部の値を 8 ビットで表しても十分機能することを発見しました。これは量子化と呼ばれる手法です。モデルの重みを 16 ビットから 8 ビットに圧縮すると、GPU のメモリに保存できるパラメータの数が 2 倍になります。これにより、DeepSeek は最終的に、より少ない GPU でより多くのことを達成できるようになりました。