カリフォルニア工科大学（Caltech）のスタートアップ企業が、82億個のパラメータをわずか1.15GBの容量に詰め込んだ。私はそれをLlama 3.1、Qwen 3、Gemma 4と比較してベンチマークテストを行ったところ、その結果はLLM（論理線形モデル）の理想的な動作に関する私の固定観念を覆すものだった。

3日前、PrismMLという会社が秘密裏に活動する状態から脱却し、私を驚かせるようなものを発表しました。それは、わずか1.15GBのメモリに収まる、80億個のパラメータを持つ大規模な言語モデルでした。

参考までに、同じパラメータ数の標準的なFP16モデルでは、およそ16GBのメモリが必要です。PrismMLのBonsai 8Bは、その14分の1のサイズです。しかも、ただ動作するだけでなく、非常に高速です。iPhone 17 Pro Maxでは、毎秒44トークンを処理できます。これは、クラウドを必要とせず、スマートフォン上でリアルタイムの会話速度を実現します。