はじめに
Data CenterのGPUの出荷数に関する記事が流れてきたので、記録のために残します。
Nvidia Shipped 3.76 Million Data-center GPUs in 2023, According to Study
NVIDIAだけで、3M以上
- 2022 : 2.64 million units
- 2023 : 3.76 million units, $36.2 billion
3.76M で、$36.2B なので、ざっくり1台あたり $10K。A100 PCIe で $10K, H100 PCIe で $30K と言われているので、どうなっているの？
NVIDIAの学習用途と推論用途の割合
2024.2.23 の WIREDの記事「Nvidia Hardware Is Eating the World」によると、
We love inference. In fact, I would say that Nvidia’s business today is probably, if I were to guess, 40 percent inference, 60 percent training.
とあります。
- 学習用途 : 60%
- 推論用途 : 40%
推論用途が 40% あるのなら、1台あたりの単価が $10K になるのは納得。では、推論用途の1台あたりの単価はどのぐらいになるのか？
- 学習用途 : $13.4K
- 推論用途 : $5K
13.4 x 0.6 + 5 x 0.4 = $10.04K になる感じですね。。。推論用が $50K なら納得しますが、学習用途が $13.4K はちょっと少ないような気がします。
あくまでも革ジャンCEOの間隔なので正確な値ではないのかもしれません。
- 3.85 million - 3.76 million = 0.09 となり、9万台です。。。。
仮に、すべてが AMD の MI300X ($15K) とします。90,000 x $15K = $1350M
AMD shipped about 500,000 units in 2023, with Intel filling in the rest with 400,000 units, according to TechInsights.
とありますが、一桁違う気がします。。。
おわりに
学習用途でNVIDIAに勝つのは難しいですが、推論用途なら勝てる可能性があります。
- 3.76 million x 0.4 = 150 million
の内、10万台を置き換えられるとします。そうすると、100,000 x $5K = $500M です。TSMC N5 で開発するぐらいなら、元が取れそうです。。。
また、学習用途であれば、この 1/3 ぐらいの台数でも元が取れそうです。
そういう意味で、Cloud Serviceの会社が自社でAIアクセラレータを作るようになったもの、必要なAIアクセラレータの数がこの領域になったからだと思っています。
