30万円を切る価格で32GBという大容量VRAMが使えるプロフェッショナル向けGPUです。ライバルたちはVRAM容量1GBあたりの価格が1万円を軽く超えていくのに対して、Radeon™ AI PRO R9700は9000円〜/1GB。量子化(*)すれば、Llama 3.1 70BのAIモデルも動かせます。

*AIモデルの賢さを保ったまま容量を圧縮すること。

Llama 3.1 70Bは、700億パラメーター(*)を持ち、人間のように会話できるAIモデル。これがローカル環境で動くのです。30万円以下で。お買い得すぎます。しかも薄くてPC筐体にインストールしやすい。電源は750W以上でいけます。

*数値が大きいほど、より複雑な指示や曖昧なニュアンスを理解して回答できるようになる指標のこと。