標準的な効率的なフォーマットであるQ4_K_M量子化では、Qwen3.6–27Bは約16GBのVRAMで動作します。
RTX 3090は24GBのメモリを搭載しています。
つまり、900ドルから1000ドル以下で中古で購入できるGPUでも、Anthropic社のフラッグシップモデルを視覚性能で凌駕し、大学院レベルの推論能力で同等の性能を発揮するモデルを実行できるということだ。
Apache 2.0ライセンス。商用製品での使用、このライセンスをベースにした開発、その他あらゆる用途にご利用いただけます。
API利用料は不要。レート制限もなし。利用規約も自分で管理できないものは一切なし。データがあなたのマシンから外部に送信されることはありません。
プライバシーに関する議論だけでも、書く価値がある。
医療画像、法律文書、財務データなど、物理的にサードパーティのAPIにデータを送信できないユースケース。
Qwen3.6–27Bは、これらの問題を今日、オフィスや家庭に既に存在するハードウェア上で、ローカルで解決することを可能にします。