量子化モデルを搭載した最新のCPUは、すでに十分な速度で推論を実行できます。Intelの最新チップ（AMX拡張機能付き）とAppleのMシリーズプロセッサは、GPUを介さずにモデルをローカルで実行します。

例： AppleのMLXフレームワークは、M2 MacBook AirでLLaMA-3 8Bを実行できます。瞬時に動作するわけではありませんが、多くのタスクには問題なく使用できます。