私は128GBのRAMを搭載したM5 Max Macbook Proを使用していますが、本格的な作業にはやはりクラウドモデルを好んで使います。Qwen3.5は私のマシンでも十分動作しますが、80tpsでもクラウド最先端モデルの50%の速度でしか作業が進みません。

ちなみに、これは6,000ドルのマシンで、20ドルのサブスクリプションの半分の速度と信頼性しかありません。

M1 16GBでは、大手プロバイダーが提供するようなまともなモデルを実際に動作させることは現実的に不可能です。動作可能なモデルであっても、動作は遅く、実質的にはおもちゃかちょっとした見せかけのようなものです。特殊なアプリケーション（ドキュメント解析パイプラインなど、高度に特化した小型モデルで十分な場合）でもない限り、お使いのハードウェアでは実用的な汎用モデルを動作させることはまず不可能でしょう。

昨年の最先端ホスト型AIに匹敵するAIを実行するには、最低でも64GB、できれば128GB以上のシステムメモリを搭載した最新の（M2/M3 Ultra、M4 Pro以上）Macが必要になります。あるいは、大量のVRAMを搭載した非常に高価なNvidia/AMD製GPUが必要になります。32GBのカードを複数枚搭載するか、1枚のカードに48GB以上のVRAMを搭載することを考えてみてください。あっという間に高額になってしまいます。

実際に最上位機種を適正な品質で動作させるには、512GB以上の非常に高速なメモリが必要です。

16 GBで実行できるローカルLLMは、Claude / Gemini / 5.4と比較するとおもちゃのように見えるでしょう。

16GBのメモリで動作するものは、Claudesのような最先端モデルに比べると、はるかに「性能が劣る」でしょう。512GBのメモリで動作するモデルでさえ、ベンチマークテストではそれほど高いスコアは出ないでしょうが、それなりの性能はあります。

私はm3 ultra 512gbを使っていますが、どのfrontierモデルでもフルコンテキストウィンドウで実行でき、私のニーズには十分すぎるほどです。でも、それは1万ドルくらいします。