はじめに
先週の水曜日に「NVIDIAのHopperとGrace」について、このブログに書きました。
今日は、来年発表するであろう、GraceベースのDGXを妄想したいと思います。
DGX A100 を振り返る
下の写真(DGX A100)は、上記の記事から説明のために引用します。DGXの上段がGPU、下段がホストですね。左右に4個のコネクトは、Connect-X 6 でしょうね。となると、SSDもホスト側にあるんでしょうね。
NVIDIA DGX A100 (これ) の写真でも確認できました。ホスト側に Connect-X 6 が8枚刺さっています。
DGX-A100 User Guide に、詳しい説明がありました。Page-9の Motherboard Tray Componenets の下図を説明のために引用します。
左側の PCIe switches があります。このPCIe switches の信号が上段のGPU側に接続されているようです。
DGX H100 (HGX H100)
H100ベースのDGX H100では、A100と同じように、
- H100 x8
- NVSwitch x4
は、GPU側
- Connect-X 7 x8
- SSD x8
は、ホスト側になるでしょうね。 の GPU ボードに、PCIe Switch経由でHostが接続しているのだと思います。
下図は、GTC22のKeynoteの 34:01のところを説明のためのキャプチャーしました。わざとぼかしてある感じです。ホスト側のConnect-X 7 はボードではなく、4個単位の基板に実装していて、数の水色の線で背面のコネクタまでつながっているのようです。
Grace ベースの DGX ?
DGX H100 のGPU側をそのまま使うのであれば、ホスト側を Grace ベースにするだけでいいんでしょうね。そうなると、Grace <=> Hopper (H100) 間は、PCIe Gen5 になりますね。1つのPCIe Switchに2つのH100が接続されるので、Grace <=> Hopper 間の転送レートは、PCIe Gen5 x16 /2 = PCIe Gen4 x16 = 32GB/s になります。
Grace <=> Hopper間を NVLINK v4 の nlinks で接続するとどうなるでしょうか？ 1 link で 50GB/s なので、HopperがNVSwitchとの接続の残りの2 links の 100GB/s で接続、1つの Grace で 4個の Hopper と接続することができます。100 GB/s なら PCIe 経由の 3倍以上になります。でも、GPUDirectで SSDやConnect-X 7 とPCIe で接続する必要があるので、GPU側の PCIe 部は必要になります。 追加で NVLINK の 2 links x8 を繋げられるようにしないといけないですね。
おわりに
来年のGTC23の Grace ベースの DGX が楽しみです。
