最近、私は自社のために32 台の H100 GPU に Kimi K3 をデプロイしましたが、クラスターを持っている人はほとんどいません。Kimi K3は2.78 兆個のパラメータを持ち、出荷時でも1.56 テラバイトもあるため、一般のマシンでは到底処理できません。また、処理速度ではなく容量が問題となるため、待っても解決にはなりません。
最近、私は自社のために32 台の H100 GPU に Kimi K3 をデプロイしましたが、クラスターを持っている人はほとんどいません。Kimi K3は2.78 兆個のパラメータを持ち、出荷時でも1.56 テラバイトもあるため、一般のマシンでは到底処理できません。また、処理速度ではなく容量が問題となるため、待っても解決にはなりません。