投稿者: | 2025年12月9日

大まかに2つに分けられます。1つはトレーニングです。つまり、データセンター内の1つで少なくとも1万から2万基のGPUを使って、新しいモデルや古いモデルの拡張をトレーニングするのです。もう1つは推論です。これは、ClaudeのようなチャットAIに意味不明な質問をしたときに、私が行うかもしれないリクエストに応答するものです。つまり、データセンター内で行われている2つの活動は、大まかに分けるとこの2つになります。どちらの活動もチップが基盤となっています。しかし、チップの消耗という観点から見ると、これらは全く異なる活動です。私がよく使う例え話は、トレーニングを例に挙げてみましょう。トレーニングを仕事に使う場合、チップを24時間365日フル稼働させます。これには膨大な量の冷却が必要になり、熱ストレス(熱ストレス)も発生します。そして、推論として、より断続的に稼働させ、日中は稼働を多くし、夜間は稼働を少なくする、ということになります。夜間はリクエスト数が少ないため、負荷はかなり劇的に変化します。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です