先進的半導体に対する米国の輸出規制は中国のAIの進歩を遅らせることを意図したものだったが、意図せずしてイノベーションを促進してしまった可能性がある。

トランプ大統領がAI巨大契約を大々的に宣伝した後、中国のAI新興企業が1兆ドルの市場暴落を引き起こす

中国の人工知能スタートアップ企業の最新AIモデルが月曜日に市場を驚かせ、ドナルド・トランプ大統領がAIインフラへの民間部門5000億ドルの投資を後押しした1週間後に、米国と欧州のテクノロジー株は1兆ドルの下落に見舞われた。

「投資が増えても必ずしもイノベーションが増えるわけではない」

—DeepSeekを開発した会社の創設者、梁文峰氏

DeepSeek の API は、OpenAI の o1 モデルと同等のパフォーマンスを維持しながら、トークンあたりのコストが 95% 削減されています。DeepSeek モデルは、トレーニング側では他のモデルよりも 45 倍効率的であると考えられています。

32ビットの数値の代わりに8ビットの浮動小数点数を使用できる新しいトレーニング方法

おそらく、この論文の最も重要なブレークスルーの 1 つは、トレーニングに「業界標準」の 32 ビット数値ではなく 8 ビット浮動小数点数値を使用したことです。ここでのトレードオフは、8 ビットでは精度がいくらか犠牲になるものの、大量のメモリを節約できることです。しかし、DeepSeek は独自のシステムを開発し、数値を小さなタイルとブロックに分割し、重要なポイントでネットワークの高度な計算を使用しました。そうすることで、パフォーマンスをあまり犠牲にすることなく、大量のメモリを節約できたようです。メモリはトレーニング プロセスで非常に重要です。これは、Nvidia GPU が LLM のトレーニング プロセスを支配している主な理由の 1 つでもあります。LLM をトレーニングする場合、相互に通信する複数の GPU と、チップ外部の HBM メモリを使用する必要があります。Nvidia が強力な防御壁を持っている理由の 1 つは、AMD などの他の GPU プロバイダーと比較して、GPU とメモリ間の通信が最高であることです。

最高の AI モデルは、4 年前はネズミ、3 年前は犬、2 年前は高校生、1 年前は平均的な学部生、数か月前は博士号取得者と同程度の知能でしたが、現在ではそれぞれの分野では人間の博士号取得者よりも優れています。これを将来に当てはめてみてください。

AlphaGo は人間に勝つまでに何千万もの人間の手から学習する必要があり、そのプロセスには数か月かかりました。しかし、 AlphaGo Zero は人間の介入なしに自分自身と対戦することで、わずか3 日間で人間に勝つことを学習しました。

AlphaGo ZeroがAlphaGoを100対0で破った。

DeepSeek では、初めて AI が、私が指示しなくても、私と同じ仮説を独自に考え出すことができました。初めて、AI は新しい仮説を考え出しました。しかし、AI はさらに進んで、仮説をテストするプロセスや、テストを実行するためのデータとソースを提案しました。しかも、すべて非常に高速で無料です。最も驚いたのは、DeepSeek は必要に応じて推論結果を示してくれることです。その推論結果は正確でした。人間らしく、非常に知的で合理的な人物のように感じました。AI が推論中に抱いた疑問はすべて正当なものであり、私の推論を大幅に改善するのに役立ちました。

実際に AI を開発しているのはコーダーであることに注意してください。したがって、AI が現在 175 番目に優れたコーダーである場合、AI はほとんどの人間よりも優れた AI コーディングを行うことができます。