Vengineerの妄想(準備期間)

人生は短いけど、長いです。人生を楽しみましょう!

NVIDIAのData CenterのGPUは量産価格になったの?を妄想してみた

はじめに

NVIDIAのGross margin が Q1FY25で 78.4% 。つまり原価率が 21.6%です。。。。

ここから色々と考えて、NVIDIAのData CenterのGPUは量産価格になったのでは?というお話です。

Tesla Dojo chip の振り返り

TSMC 7nm で開発した Tesla Dojo chip は量産価格になったのでは?というのは下記のブログで書きました。

vengineer.hatenablog.com

TSMC 7nm では、10,000 Wafer で量産価格になります。

A100

NVIDIA であれば、A100 です。A100 の die size は、826mm2 です。

にて、26 mm x 33 mm (最大サイズ)を入れてみたら、24個と出てきました。ここから、1枚の Wafer で良品が20個取れたと考えます。

10,000 枚 x 20 個なので、20万個で量産価格になります。

TSMC 7nm の Wafer は $10,000 とします。

となると、$10,000 / 20 = $500 が die のコストです。

H100

H100 は、TSMC 4nm custom です。7nm よりも多くの枚数のWaferにて、量産価格になると想定します。

  • 20,000 => 40万個
  • 30,000 => 60万個
  • 40,000 => 80万個

5nm の Wafer は、1枚 $16,000 のようです。4nm custom は基本的には 5nm と同じだと考えます。

となると、$16,000 / 20 = $800 です。$800の原価をベースとして、H100のプロダクトの価格は $30,000 です。。$800 だと、HBM3 x 6 の方がお高いのではと思います。

NVIDIA のビッグカスタマー

2023年のH100のいっぱい持っている会社については、下記のブログに書きました。

vengineer.hatenablog.com

9社で、H100を2023年末までに、70万台購入しています。。。となると、Wafer 、40,000枚にはなっているようです。。。

おわりに

  • TSMC 7nm であれば、20万個
  • TSMC 5nm であれば、40万個 - 60万個

作れば、量産価格になります。

ちょっと前までは、1社でこんなに使わなかったのですが、ChatGPT誕生により、このぐらいは必要になってきました。

その証拠に、GoogleAWS だけでなく

もAIアクセラレータを開発しています。

なぜ? Meta や Microsoft も AIアクセラレータを開発するのか、それはコストです。あまりの大量のAIアクセラレータが必要になってしまったので、自社で作った方がお得になる時代(時期)になったからです。。。。

AI Cloud Startupが集めた資金は、$600M - $1B です。H100を 10万台購入すると、100,000 x $30,000 = 3,000,000, 000 = $3B です。

仮に、売価を $10,000 としても、$1B です。。。10万台売れれば、

で実際に、10万台作っているのは、LLMが超絶速いGroqのみです。2024年末までに 22万台作るといっています。2025年末だと、100万台です。 Groqは、GF14なので$10,000 はしないと思います。。原価も TSMC 7nm よりもお安いと思います。。。

下記のブログで振り返ると、TSMC 16/12nm の Wafer は $4,000です。 7nm の 40%です。。つまり半額以下。。。A100と比べて、HBM2e x 6 も無いので、Boardの価格は $5000はしないかもしれません。。原価は、$1,000 ぐらいでは?

vengineer.hatenablog.com

関連ブログ

vengineer.hatenablog.com