@Vengineerの戯言 : Twitter SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

はじめに

2021年5月12日に書いた「NVIDIAのGRACEのビデオを見直したら、NVIDIAも tick - tock 戦略をやるんだ、と思ったよ。」

vengineer.hatenablog.com

その後、DGX-1/2/2H および A100 について、いろいろと調べたら、あれ、どうも来年出てくる、Ampere Next 搭載のDGXはどうなるの？と思ったので、記録のために残します。

DGX A100 を振り返る

DGX A100 のデータシートによると、

NVIDIA A100 80/40GB GPU x 8
NVIDIA NVSwitch v2 x 6
CPU : Dual AMD Rome 7742
System Memory : 2TB/1TB
Network : Mellanox ConnectX-6 InfiniBand x 8 (200G HDR) + Melannox ConnectX-6 10/25/50/100/200 GbE x 2)
Storage : OS (1.92 TB M.2 NVME x 2), 内部ストレージ ( 30TB : 3.84 TB x 8) U.2 NVMe)

Ampere Next搭載のDGXってどんな感じ？

NVIDIA Ampere Next x 8
NVDIA NVSwitch v3 x 6
CPU : Dual AMD Genoa
System Memory : 4TB/2TB
Network : Mellanox ConnectX-7InfiniBand x 8 (400G HDR) + Melannox ConnectX-7 10/25/50/100/400 GbE x 2)
Storage : OS (.....), 内部ストレージ (...)

Ampere Next は、PCIe Gen5 および NVLink v4 対応なので、NVSwitch v3 も NVLink v4 対応 PCIe Gen5 対応なので CPU も変わって、AMD Genoa 。来年春に出るようなので、GTC2022 には間に合いそう。Intel Sapphire Rapidsも来年(2022)の前半には出そうだが、PCIe Gen5 が最大 80 lanes なので、x16 の GPU を4つ接続すると、x16が1つしか残らないので、GbEとOS用NVMeが接続できるか微妙。 Networkは、ConnectX-7にて、400Gbpsをサポート。

PCIe Switch

データシートには載っていませんが、DGX A100 には PCIe Gen4 の Switch が多分4個載っています。 PCIe Gen4のSwitchは、旧PLX、現Broadcomの PEX シリーズです。 PCIe Gen5に関しては、PEXシリーズを見る限りなさそうです。(本当にないかどうかまではわかりません)。 Google君に聞いたら、Microchip がサンプルを出しているようです。

Microchip Switchtec PCIe 5.0 Switches Now Sampling - ServeTheHome

下図は、上記の記事からの図です。説明のために引用します。GPUが2個、NICが1個、NVMeが1個接続しています。 DGX A100では、GPUが2個、NICが2個、NVMeが2個ついているのでこのSwitchで大丈夫かな。。。

製品リストもありました。PFX 100xGSでは、100 lanes サポートしているので、Host (x16), GPU (x16 + x16), NIC (x16 + x16), NVMe (x8 + x8) = 16*5 * 8x2 = 80 + 16 = 96 なので大丈夫そうです。NICを x8 にすれば、PFX 80xGS でも大丈夫そうです。とはいえ、400Gbps = 50GB/s なので、PCIe Gen5 x8 の 32GB/s を超えていますので、x16じゃないとだめですね。