8.2Bパラメータのモデルが、たった1.1GBに収まっている。FP16なら16GBになるところです。93%の圧縮率。しかもベンチマークではLlama 3.1 8B(FP16で16GB)を上回り、Mistral 3 8Bに肉薄するスコアを出しているではないですか。
8.2Bパラメータのモデルが、たった1.1GBに収まっている。FP16なら16GBになるところです。93%の圧縮率。しかもベンチマークではLlama 3.1 8B(FP16で16GB)を上回り、Mistral 3 8Bに肉薄するスコアを出しているではないですか。