毎月、新たな効率化のトリックが登場し、新しいハードウェアを使わずにモデルを高速化しています。量子化（4ビット）、FlashAttention、投機的デコード、DoRA、LoRA。ソフトウェアがコンピューティングのルールを覆しています。

例： 4ビット量子化により、LLaMA-13Bは16GBのRAMを搭載した単一のコンシューマー向けCPUで動作できるようになりました。これは2年前には考えられなかったことです。

GoogleはTPUを保有しています。AmazonはTrainiumとInferentiaを推進しています。すべてのクラウドプロバイダーはNVIDIAから離れることを望んでいます。これらのチップはLLMワークロードに最適化されており、価格性能比でGPUを下回ります。

例: AWS Inferentia2 はすでに、A100 よりもトークンあたりのコストが低い LLaMA モデルを実行しています。GPU は長期的なデフォルトではありません。

GPUは高価で入手が難しく、車よりも早く減価償却されます。たとえ高負荷のコンピューティングがたまに必要になったとしても、クラウドGPU（AWS、Lambda Labs、CoreWeave）をレンタルする方が安価です。

例：ドメイン特化型の13Bモデルをトレーニングするスタートアップ企業は、20万ドル相当のGPUを購入する代わりに、A100を2週間レンタルしました。トレーニングが完了し、GPUが返却され、コストが上限に抑えられました。

量子化モデルを搭載した最新のCPUは、すでに十分な速度で推論を実行できます。Intelの最新チップ（AMX拡張機能付き）とAppleのMシリーズプロセッサは、GPUを介さずにモデルをローカルで実行します。

例： AppleのMLXフレームワークは、M2 MacBook AirでLLaMA-3 8Bを実行できます。瞬時に動作するわけではありませんが、多くのタスクには問題なく使用できます。

カスタマーサポートチャットの要約、定型SQLの生成、人事メールの草稿作成。これらにはGPT-4クラスのインテリジェンスは必要ありません。

例：ある物流会社は、ルートサマリーを生成するためにGPT-4を70億の蒸留モデルに置き換えました。精度はわずかに低下しましたが、推論コストは20分の1に削減されました。GPUは不要です。

OpenAIとAnthropicは、700億や4000億のパラメータを持つ巨大なマシンで注目を集めています。しかし、実際にはどうでしょうか？現在最も有用なツールは、Mistral 7B、Phi-3 Mini（3.8B）、LLaMA-3 8Bといった、より小型のマシンです。

例： Phi-3 MiniはCPUで動作し、推論ベンチマークではより大規模なモデルよりも優れています。Raspberry Piのようなボードで動作させている人もいます。「軽量」モデルで既に十分な性能を発揮しているのに、なぜGPUに投資する必要があるのでしょうか？

799ドルのMeta Ray-Ban Displayのデモを見て、これが10年以上前にGoogle Glassが約束していたものに最も近いものだと確信した。このメガネは、まるで分厚いRay-Banのように見える。でも、装着して中指を2回つまむと、右目の前にディスプレイが現れる。視界の前に浮かんでいるように見える。これは現実世界に重ねられた拡張現実というよりは、オンデマンドで利用できる多目的メニューであり、いくつかのアプリが用意されている。これを使用して、テキストメッセージ、Instagram Reels、地図、写真のプレビューを表示でき、スマートフォンを取り出さなくてもさまざまなことができます。実際、スマートフォンとペアリングするため、ポップアップ拡張機能のように機能します。ディスプレイは、600 x 600ピクセルの解像度と20度の視野で、アプリをフルカラーで表示します。最大輝度はなんと5,000nitsですが、光漏れはわずか2％であるため、周囲の人がそれがあることに気付くことはほぼ不可能です。各ディスプレイグラスにはトランジションレンズが付属しており、明るさは周囲の紫外線に応じて調整されます。単眼なので、ディスプレイは片方のレンズにしか表示されず、多少気が散ることはあるものの、視界を完全に遮ることはありません。

Meta Ray-Ban DisplayとNeural Bandの仕様ディスプレイ：600 x 600ピクセル、視野角20度、リフレッシュレート90Hz（コンテンツ使用時は30Hz）、輝度30～5,000nitバッテリー駆動時間：メガネ使用時と併用時で6時間、Neural Band使用時で18時間。メガネケースには予備バッテリー4個分が入っています。レンズ：-4.00～+4.00の度数に対応するトランジションレンズカメラ：12MP、3倍ズーム3024 x 4032ピクセルの写真解像度、1080p/30fpsの動画撮影に対応。重量：69g。防水性能：メガネ本体はIPX4、Neural BandはIPX7。ストレージ：32GBのストレージで、最大1,000枚の写真と100本の30秒動画を保存可能。

ライブキャプションのデモは印象的でした。誰かと話しているとき、視線のすぐ向こうにある画面に、その場で話した内容のテキストや翻訳が表示されます。しかし、最も驚くべき点は、多方向マイクアレイのおかげで、メガネが誰を見ているのかを認識し、その人にのみキャプションを表示することです。複数の人が同時に話しているときにデモを見たのですが、クロストークは一度も問題になりませんでした。見る人を切り替えても、字幕が追いつくまでの遅延はほぼゼロでした。

ハリウッドが毎年同じ3つのフランチャイズ映画を次々と制作することにうんざりしていませんか？

「ハリウッドは今の道を歩み続ける限り、すでに死んでいる」

「これはAIとは全く関係ない。ハリウッドが統合を進め、同じ物語を何度も繰り返している現状が問題なのだ」

ハリウッドはリスクを回避しすぎて、新しいことに挑戦しなくなっている。

「1億ドル、2億ドルの映画を作ることしかできないなら、目新しいものには挑戦できない。なぜ年間50から100のアイデアを試す代わりに、大作映画を5本から10本も作っているんだ？」

「人々が新しいアイデアを試すことで、この衰退は止まります。そして、AIこそが唯一の解決策です」

未来とは、大小問わずクリエイターとのコラボレーションです。ブランドは、クリエイターが心から繋がりを感じられるような場所と視点を持って存在しなければなりません。そして、その上で意味のあるものを共創していくのです。そして、コミュニティから次のプロダクト展開についてフィードバックをもらえます。「何をすべきか？」コミュニティは、あなたのパイプラインに活力を与えてくれます。クリエイターとの流動的な関係を築けば築くほど、成功する可能性は高まると思います。なぜなら、消費者はブランドよりも先にクリエイターに自分自身を見出しているからです。

もしあなたが今ブランドであるなら、ブランドとして、そしてパブリッシャーとして行動するためには、消費者にどう近づくかを真剣に考える必要があります。

例えば、あなたがアプリをダウンロードして、既にスマートフォンにインストールされているブランドについて考えてみてください。あなたは既にそのブランドと関係を築いています。ですから、私はMetaやGoogleなどにさらなる投資をする必要はありません。なぜなら、あなたは既に私の手元にいるからです。あなたのスマートフォン上のストアフロントという戦いに、私は既に勝利したのです。