Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう!

来年のGTC22にて出るであろうDGXを妄想してみた

@Vengineerの戯言 : Twitter SystemVerilogの世界へようこそすべては、SystemC v0.9公開から始まった 

はじめに

2021年5月12日に書いた「NVIDIAのGRACEのビデオを見直したら、NVIDIAも tick - tock 戦略をやるんだ、と思ったよ。」

vengineer.hatenablog.com

その後、DGX-1/2/2H および A100 について、いろいろと調べたら、あれ、どうも来年出てくる、Ampere Next 搭載のDGXはどうなるの?と思ったので、記録のために残します。

DGX A100 を振り返る

DGX A100 の データシート によると、

  • NVIDIA A100 80/40GB GPU x 8
  • NVIDIA NVSwitch v2 x 6
  • CPU : Dual AMD Rome 7742
  • System Memory : 2TB/1TB
  • Network : Mellanox ConnectX-6 InfiniBand x 8 (200G HDR) + Melannox ConnectX-6 10/25/50/100/200 GbE x 2)
  • Storage : OS (1.92 TB M.2 NVME x 2), 内部ストレージ ( 30TB : 3.84 TB x 8) U.2 NVMe)

Ampere Next搭載のDGXってどんな感じ?

  • NVIDIA Ampere Next x 8
  • NVDIA NVSwitch v3 x 6
  • CPU : Dual AMD Genoa
  • System Memory : 4TB/2TB
  • Network : Mellanox ConnectX-7InfiniBand x 8 (400G HDR) + Melannox ConnectX-7 10/25/50/100/400 GbE x 2)
  • Storage : OS (.....), 内部ストレージ (...)

Ampere Next は、PCIe Gen5 および NVLink v4 対応なので、NVSwitch v3 も NVLink v4 対応 PCIe Gen5 対応なので CPU も 変わって、AMD Genoa 。来年春に出るようなので、GTC2022 には間に合いそう。Intel Sapphire Rapidsも来年(2022)の前半には出そうだが、PCIe Gen5 が最大 80 lanes なので、x16 の GPU を4つ接続すると、x16が1つしか残らないので、GbEとOS用NVMeが接続できるか微妙。 Networkは、ConnectX-7にて、400Gbpsをサポート。

PCIe Switch

データシートには載っていませんが、DGX A100 には PCIe Gen4 の Switch が多分4個載っています。 PCIe Gen4のSwitchは、旧PLX、現Broadcomの PEX シリーズです。 PCIe Gen5に関しては、PEXシリーズを見る限りなさそうです。(本当にないかどうかまではわかりません)。 Google君に聞いたら、Microchip がサンプルを出しているようです。

Microchip Switchtec PCIe 5.0 Switches Now Sampling - ServeTheHome

下図は、上記の記事からの図です。説明のために引用します。GPUが2個、NICが1個、NVMeが1個接続しています。 DGX A100では、GPUが2個、NICが2個、NVMeが2個ついているのでこのSwitchで大丈夫かな。。。

製品リストもありました。PFX 100xGSでは、100 lanes サポートしているので、Host (x16), GPU (x16 + x16), NIC (x16 + x16), NVMe (x8 + x8) = 16*5 * 8x2 = 80 + 16 = 96 なので大丈夫そうです。NICを x8 にすれば、PFX 80xGS でも大丈夫そうです。とはいえ、400Gbps = 50GB/s なので、PCIe Gen5 x8 の 32GB/s を超えていますので、x16じゃないとだめですね。

また、Retimerも出しています。他社のRetimerは60ns程度の遅延があるが、Microchipのは10ns程度なのでかなり速いと。。。

お値段

上記の構成だと、DGX A100の 約20万ドルより高くなりそう。

おわりに

来年出るであろう DGX について、妄想してみました。

ポイントは、PCIe Switch かな。。。

また、Network が400Gbps になるので、DGX単体ではそれほどお値段高くならないかもしれないけど、DGX SuperPOD になると 400G Switch などのコストが上乗せして高くないそう。。。