GPUを24時間365日稼働させるには、購入費用だけでなく、電力コストもかかります。冷却、電気代、メンテナンス。こうしたコストが、多くのGPUベースのサイドプロジェクトを静かに潰しています。 例えば、あるインディー開発者… 続きを読む »

GPUは価値を失っています。AIの進化は速すぎます。将来を見据えたと思った頃には、より安価で高性能なチップがすでに登場しています。 例： RTX 3090は2020年に1,499ドルで発売されました。現在では中古品でも5… 続きを読む »

毎月、新たな効率化のトリックが登場し、新しいハードウェアを使わずにモデルを高速化しています。量子化（4ビット）、FlashAttention、投機的デコード、DoRA、LoRA。ソフトウェアがコンピューティングのルールを… 続きを読む »

GoogleはTPUを保有しています。AmazonはTrainiumとInferentiaを推進しています。すべてのクラウドプロバイダーはNVIDIAから離れることを望んでいます。これらのチップはLLMワークロードに最適… 続きを読む »

GPUは高価で入手が難しく、車よりも早く減価償却されます。たとえ高負荷のコンピューティングがたまに必要になったとしても、クラウドGPU（AWS、Lambda Labs、CoreWeave）をレンタルする方が安価です。 例… 続きを読む »

量子化モデルを搭載した最新のCPUは、すでに十分な速度で推論を実行できます。Intelの最新チップ（AMX拡張機能付き）とAppleのMシリーズプロセッサは、GPUを介さずにモデルをローカルで実行します。 例： Appl… 続きを読む »

カスタマーサポートチャットの要約、定型SQLの生成、人事メールの草稿作成。これらにはGPT-4クラスのインテリジェンスは必要ありません。 例：ある物流会社は、ルートサマリーを生成するためにGPT-4を70億の蒸留モデルに… 続きを読む »

OpenAIとAnthropicは、700億や4000億のパラメータを持つ巨大なマシンで注目を集めています。しかし、実際にはどうでしょうか？現在最も有用なツールは、Mistral 7B、Phi-3 Mini（3.8B）、… 続きを読む »

799ドルのMeta Ray-Ban Displayのデモを見て、これが10年以上前にGoogle Glassが約束していたものに最も近いものだと確信した。このメガネは、まるで分厚いRay-Banのように見える。でも、装… 続きを読む »

ハリウッドが毎年同じ3つのフランチャイズ映画を次々と制作することにうんざりしていませんか？ 「ハリウッドは今の道を歩み続ける限り、すでに死んでいる」 「これはAIとは全く関係ない。ハリウッドが統合を進め、同じ物語を何度も… 続きを読む »