はじめに

昨日、Xで下記の投稿が流れてきました。

Broadcom Enabling AI Infrastructure Investor Meeting

の URL で、まー、普通、見ませんよね。

あたしは、見てしまったので、色々と妄想し始めました。

今日のブログは、Broadcom の上記の資料を眺めて、妄想する会とします。

以降の図は、上記の資料から説明のために引用します

Apple が居ない

下図を見てください。

NVIDIA : GPU
Amazon : Trainium / Inferentia
AMD : MI
Tesla : Dojo
Google : XPU
Intel : Gaudi
Meta : MTIA
Microsoft : MAIA

偉大なる、Apple が居ません。何故なら、Apple は iPhone/iPad/Mac とコンシューマ用コンピュータを開発していて、下図にあるようなクラウド側のシステムを開発販売していないからです。

先日、AppleはGoogleに生成AI関連をお願いします的なニュースが流れました。GoogleはAppleのiPhoneに自社のサービスを載せるためにイイ感じのお金を払っています。そのお金はAppleがTSMCに支払う金額ぐらいなので本当にイイ感じのお金です。今回、AppleがGoogleさんにどのくらいのお金を支払うかどうかはわかりませんが、Googleにとっては一気に年間$十数Bのお金が浮きます。。。 (GoogleがAppleにGoogleの検索をデフォルトにするのに毎年 1.6 兆円支払っていたようです。今どのくらい払っているかはわかりません。)

Google と Meta が Customer

Broadcom の AI アクセラレータ(Broadcomは、XPUと呼んでいます)の Customer は、次の2社

Google
Meta

です。

Google TPU

Google は、2015年の v1 からの付き合いのようです。v3 と v4 間に1チップありますね。これ、v3 よりも小さいので Inference 用にでも作ったのでしょうかね。

2024 -2025 では、Development として、2種。2026 & Beyond として Architecture Phase で 2種が載っています。2024 - 2025 の2種はたぶん、v6? なんでしょうね。そして、どうやら 2 die っぽいです。

下図は、# of XPUs per Cluster とありますので、Google の 1つのクラスタ内の XPUの数です。

v4 (2022) : 4K+
v5p (2023) : 10K+
v6? (2024) : 30K+
2027+ : 1M?

とあります。v6? はたぶん、そうなるんでしょうね。30K+は、特別なことではなさそうです。

下記のXの投稿では、Meta は 24K x H100 で LIama3 を Training したとあるので、Google も v6? x 30K+ で Gemini の次のものを学習するのでしょうから。

Meta は24K x H100 でLlama3を学習
最終的にはH100を600K導入
2023末までに150K x H100だったのに4倍か
ほとんどの会社は手を出せない
$30K x 600K = $18B
NVIDIAのQ4.2023のData Centerの売り上げに相当する https://t.co/gmmLCw44ZY
— Vengineer＠ (@Vengineer) 2024年3月12日

Meta MTIA

その Meta は、下図のようになっています。

2021 : MTIA v1
2022 - 2023 : ???
2024 - 2025 : 1 die と 2 die
2026 & Beyond : Architecture Phase : 2種

拡大した図です。

一番左が MTIA v1 です。下記のブログの中にある die shot と同じことが分かります。

vengineer.hatenablog.com

違うページに、右側の die が分かるようなものがありました。下図です。MTIA v1 を何となく大きくしたものに見えます。

Developmentの2種の左側は、両サイドにSRAMみたいのがありますね。右側は 2 x Compute Die + 2 x IOD っぽく見えます。

違うページには、下図のように左側のdie がもうちょっとわかるようなものがありました。

第3のCustomer

下図では、第3のCustomer が 2024年から参戦したようです。

違うページに、Google TPU と Meta MTIA 以外のものが載っているものがありました。2022 - 2023 のところにあるものと、2024 にあるものがなんとなく似ています。どうやら、2 die のようです。

謎のチップ

謎の multi chiplet のチップです。一瞬、12個のHBMだと思いましたが、よーくみると、chip の横に配線があります。HBM ならそんな配線は無いはずです。そして、このパッケージには、2つの Compute die と 2 つの IOD も載っています。大きさ的には、NVIDIA B100/B200 より大きいです。TSMCのCoWoS-Sの HBMが12個載るものと同じぐらいでしょう！

こちらのXの投稿では、このぐらいの大きさです。説明のために引用します。また、写真が消えるともったいないので、画像も引用します。

SRAM の 800mm² の die

下記のXの投稿(説明のために引用します)によると、800mm² の SRAM の die の上に、700mm² の AI アクセラレータを載せるということが書いてあります。また、写真が消えるともったいないので、画像も引用します。

Some fun pics from the @Broadcom AI investor day today. This is obviously a wafer in its protective case. This “XPU” (AI accelerator) chip uses a 3D package. The top die is a 700mm2 accelerator on top of an 800m2 SRAM. Yes I’m surprised as:
A/ I don’t know $AVGO had 3D chops. (It… pic.twitter.com/SjoVY90yiq
— Patrick Moorhead (@PatrickMoorhead) 2024年3月21日