SemiAnalysisに、Google TPU の nickname が載っています。
のようです。
Puffer, Viper, Ghost, Sun
v7p ではなく、v7 なんですね。
下記のブログでも紹介した Broadcom の #Customer 1 の ところ、たぶん、いや、絶対に Google と一致しますね。
どうやって、知ったのでしょうか？
発表済みのものの nickname はともかく、これから出てくるものの nickname って、どうやって知ったのだろうか。。。まー、。。。
Intel が Gaudi 3 の詳細を「Intel Vision 2024」で発表しました。
詳細が PC Watch の下記の記事にあります。そこに載っているスライドを引用します。
2023年5月には tape out
Gaudi 3 の詳細
Gaudi 3 の White Paper。Gaudi 2 の White Paper
White Paperによると、
双方向で 1200GB/s ですね。NVIDIA H100 の NVLINK v4 (100Gbps PAM4 x 2) x 18 の 双方向で 900GB/s を超えていますね。
White Paperより引用します。
The Intel® Gaudi® 3 accelerator memory subsystem is equipped with L2 and L3 caches, which are coupled to each DCORE and HBM memory channels respectively.
HBM2e のチャネル (128bit x 8 channels)
下記に、Gaudi 2 (左)、Gaudi 3 (右) に並べてみました。基本的には同じですね。
Gaudi => Gaudie 2 : TPC が 3倍、MME が 2倍、メモリ容量が3倍、メモリ帯域が 2.45倍、Ethernetが 2.4 倍と。ざっくり 2 - 2.4 倍ぐらい性能が上がるっぽい Gaudi 2 => Gaudi 3 : TPC が 2.66倍、MME が 4倍、メモリ容量が 1.3倍、メモリ帯域が 1.5倍、Ethernetが 2 倍、こちらはかなりバラけていますね。
Gaudi 2 => Gaudi 3 になって、MME が 4倍になったけど、メモリ帯域は 1.5倍、Ethernet が 2 倍。。。これって、まだまだ計算機の方が足らなかったのでしょうかね。。。
Node数は、
Node内の構成。各Gaudi 3 からは3組のEthernet(200Gb) が出ていて、Nodeからは 800GbE x 6 にして出していますね。
24 - 3 = 21 を使って、各 Gaudi 3 間を接続しています。どのように接続しているのでしょうか？ 1つの Gaudi 3 が他の7個の Gaudi 3 と接続するのなら、3 x 200GbE で接続することになりますね。。。これは Node 外への 3 x 200GbE と同じですね。
Gaudi 2 の時は、24 x 100GbE だったので、3 x 100GbE であり、Gaudi の 時は、12 x 100GbE なので、Node内の各Gaudi は 1 x 100GbE で、Node 間では、各Gaudi から 3 x 100GbE が出ていました。
Training
ということです。でも、H100 は メモリ容量が 80GB でメモリ帯域は 3TB/s。Gaudi 3は メモリ容量が128GB、メモリ帯域は 3.7TB/s。メモリ帯域が 1.23倍なのでこの部分を考慮しないと。
となると、
です。
Inferenceでは、H200と比較しています。LIama とありますが、NVIDIA H200では LIama2 なので間違えだとおもいます。
LIama2 では、NVIDIA H200よりはちょっと遅いぐらいですね。H200のメモリ帯域は4.8TB/sなのでその分速い感じですね。Gaudi 3 も HBM2e ではなく、HBM3や HBM3e にすれば H200 を超えると思います。
「Intel Vision 2024」に、Naveen Rao さんがいらっしゃいました。
Intel CEOの Pat さんとツーショット
A different office scene today! Thanks @PGelsinger pic.twitter.com/keLUIoGGDa
— Naveen Rao (@NaveenGRao) 2024年4月9日
Rao さん、Intelが買収した Nervana Systems の CEO さんです。。。
HBM3 ではなく、HBM2eな理由
Official comment from Habana:
— Tobias Mann (@Tobias_Writes) 2024年4月9日
"Our methodology was to use only IPs that were already proven in silicon before we tape out. At the time we taped out Gaudi3 there was simply no available physical layers that were validated to meet our standards," COO Eitan Medina told The Register
"Our methodology was to use only IPs that were already proven in silicon before we tape out. At the time we taped out Gaudi3 there was simply no available physical layers that were validated to meet our standards," COO Eitan Medina told The Register
Meta が MTIA v2 をアナウンスしました。
MTIA v1 はこちら
下記の die shot は上記の Meta のサイトから説明のために引用します。
下記は、ブロック図です。同様に説明のために引用します。
カッコの中は、MTIA v1 です。
下記はBoardです。同様に説明のために引用します。TDP が 90W なので、M.2 みたいな形状には入らないので、PCIe の長いボードになっていますね。たぶん、12枚入っていると思います。
Boardには、2個の MTIA v2 が載るのですね。でも、LPDDR5は、各辺1個の4個しかないのですが。となると、128GB/4 = 32GB になりますね。裏にも4個のっていると、16GBなので物はありますが。。。
Meta MTIA V2: el acelerador para IA personalizado que triplica su potencia para no depender de NVIDIA https://t.co/wqTDNOXaBh
— chapuzasinformatico (@elchapuzas) 2024年4月11日
に書いたBroadcomの資料に載っていたものと並べてみました。
同じですね。
ということで、MTIA v2 が発表されました。
次は、2 die の下記のものですね。。。Broadcomの資料から説明のために引用します。
関連記事
上記の semianalysis に
There is also up to 128GB of LPDDR5-5500 on a 256-bit bus running at 176GB/s.
とあります。
176GB x 8 / 256 = 5.5Gbps
となると、16bit x 16 個。64bitのLPDDR5 なのかな？ 64GB / 4 = 16GB, 128GB / 4 = 32GB
2022年のTSMCのトップカスタマー(7社)については、昨年の6月にこのブログにアップしました。
2023年の情報がXの投稿に流れてきたので、記録します。
TSMC’s Top 7 Customers in 2023, media report, citing unnamed investors
— Dan Nystedt (@dnystedt) 2024年4月10日
1. Apple 25% of revenue
2. Nvidia 11%
3. AMD 7%
4. Qualcomm 7%
5. MediaTek 5%
6. Broadcom 5%
7. Intel 4%
Others: 36%
1/2 $TSM $AAPL $NVDA $AMD $QCOM $AVGO $INTC
一位は、Appleのままですが、NVIDIAが5位から2位になりました。
あれ、Appleの売上ってあんまりよくないんだけどと思い、TSMCの 2022と2023の売上を調べなおしました。
ここの11頁。
売上減でした。$75.88 B => $69.30 B
売上を計算してみました。
上位7社は、少なくても、$2.7B (Intel)です。2位のNVIDIAで $7.6B、Apple は $17.3B です。
NVIDIAの売上は、$60.9 Bです。$7,6 Bって、12.4 % です。
TSMCの売上の内 11 % が NVIDIA。NVIDIA の売上の 12.4 % を TSMC に。。。なんか凄いですね。
追記)、2024.04.26
AMD(Xilinx)が Versal AI Edge Series Gen 2 を発表しました。
Versal AI Edge Series Gen 2 なのは、AI Enginer が 第二世代になったからなのでしょうか？
下図は、サイトからのものです。説明のために引用します。
も入っています。Versal AI Edge では、下図のようになっています。説明のために引用します。
なので、爆増ですね。
並べてみました。
こうしてみると、Gen 2 は、リッチな組み込みSoC ですね。
CPUコアは、
New AIE-ML v2 tiles designed to deliver 2X compute/tile compared to previous generation, robust energy efficiency, and new native data types—including MX6 & MX9 designed to boost throughput & performance/watt.
とあります。
AI性能 (2VE3304) : 24個
どうやら、3種類の die がありそうですね。
一番小さいのが 2VE3304 で、
ですね。
Cortex-A78 x 4 だと、Rapberry Pi 5 の Cortex-A76 x 4 よりリッチですね。
残念ながら、2VE3304/2VE3358 では、Microsoft の Windows 12 をサポートできる AI 性能(40 TOPS) を超えていませんね。。。
2VE3504 なら、80 TOPS ですが、これで Windows 12 PC を作ったら、お幾らになるんでしょうかね。
ちょっと前に、中国 Intellifusion のAIチップが $140で安いぞー、というのが話題になりました。tom's HARDWARE でも下記のように取り上げています。
下図は、上記の記事か説明のために引用します。
名前の付け方、Pro / Max / Ultra 、なんか、Apple みたいですね。
今日は、中国 Intellifusion のAIチップ についてみてみます。
にありました。
どうやら、ベースは Yuntian Lifei 第4世代 NNP400T のようですね。
DeepEdge10が、12 TOPS です。
Pro が 24 TOPS、Max が 48 TOPS、Ultra が 96 TOPS と。となると、DeepEdge10 の 12 TOPS を 2倍、4倍、8倍 になっていますね。
DeepEdge10Maxの説明には、
とあります。D2D チップレット オンチップ相互接続テクノロジーを採用。。。なるほど、DeepEdge10の die を4つ接続しているのか？ または、DeepEdge10Pro の die を 2個搭載しているのか？
上記に、DeepMax10Max が 2024年H1、DeepMax10Pro が 2024年H2ということなので、1 die を後に出すことは無さそうなので、DeepEdge10 の die ベースっぽいですね。
下記のXの投稿に色々ありました。説明のために引用します。
Intellifusion introduces DeepEdge10 chiplet for AI inference
— tphuang (@tphuang) 2023年11月16日
Each die has 10 RISC-V CPU core at 1.8GHz
+Arm Mali-G52 GPU
+Its own NPU NNP400T w/ 12Tops
4 Die connected D2D w/ hi-speed/wideband interfonncect -> 48TOPS/chiplet
C2C Mesh connects DE-10 chiplets for 1024Tops per… pic.twitter.com/St2iTQQwi1
Each die has 10 RISC-V CPU core at 1.8GHz +Arm Mali-G52 GPU +Its own NPU NNP400T w/ 12Tops 4 Die connected D2D w/ hi-speed/wideband interfonncect -> 48TOPS/chiplet
14nm っぽい。
あれ、SoCなんだ。。。NNP400T は 12 TOPS、そして、4 Die が D2Dで接続とありますね。
下図を説明のために引用します。D2Dとしては、2本出ているので、4 die まで接続できるのね。。。C2C を使って、4 die 以上の接続になるんでしょうね。
最後の画像、説明のために引用します。
によると、
なるプロダクトもあるのね。。。
今日のブログは、Groq についてです。
下記の eetimes の記事からです。
既に、Groq カスタマとしては、
そして、LPUに関しては、
14nmの725mm2サイズのものが 220,000 台って、NVIDI P100 の TSMC 16nm で 610 mm2 、NVIDIA V100、TSMC 12nm で 815mm2 と比較してもかなりスゴイと思います。
現在、4nm で開発中。。。ですが、
We have the ability to do 1.5 million by next year [including the 220,000 this year]
とあります。
1.5 M台。。。。凄いです。
