一般ユーザーのハードウェアに適合するローカルモデルは、現在のクラウドホスト型SOTAモデルと同等の性能を発揮しません(定義上当然のことですが)。しかし、64GBの統合メモリシステムなど、一般ユーザー向けのハードウェアであれば、多くのAIエージェントアシスタント(Web検索、ドキュメント作成、スケジュール管理など)、ラボ管理者アシスタント(ストレージ/アップデートの管理、コンテナのデプロイ、サービス問題のトラブルシューティングなど)、および多くのコーディングアシスタントタスクを「十分」に実行できます。
私の意見では、現在のオープンウェイトモデルは、コードを書くための競争優位性が薄れつつあり、私たちのキャリアの基盤となっているCRUDアプリの多くを変更する必要が出てくることが明らかになった昨年半ばのchatgptやsonnetと同程度の水準にあると思います。ほとんどの人は量子化されたバージョンを使用しており、コーディングのニュアンスは多少失われますが、AIツールの過去1年間のコード記述の改善に伴うロジックやトラブルシューティング能力は概ね十分に備えています。