はじめに
GraceベースのDGXを妄想したのが、2022年3月27日
あれから、1年8か月。NVIDIAは、Grace-Hopperベースの
- NVIDIA GH200 NVL32
を発表
NVIDIA GH200 NVL32
NVIDIA GH200 NVL32 は、Grace-Hopperである、GH200 を 32個、H100側のNVLinkをNVSwitchで接続したシステム。 下図は上記のブログから説明のために引用します。
下図もどうように上記のブログから説明のために引用します。
- 1Uサーバーに2基のGH200 なので、16 x 1Uサーバー
- NVLink Switch は、9台 . (DGX H100 Superpod は、36台)
裏側に Liguid Cooling Manifold があるので、水冷なんですね。。。
下記は、NVIDIA CEO が全業界向けの 生成 AI プラットフォームを発表 の中から説明のために引用します。256個のGH200のシステムです。この時は、1Uサーバーには、1基のGH200を搭載(ということは空冷？)
NVIDIA GH200 NVL32の性能
下図も上記のブログらか説明のために引用します。NVIDIA GH200 NVL32の方が H100 NVL8 + Ethernet の 32 x H100 より相対的な最大スループットが2倍いいということです。
H100 NVL8 + Ethernet で接続しているんですよね。あれ、なんか構成が違うじゃん。
おわりに
NVIDIA GH200 NVL32
これでお幾らなんでしょうかね。。。H100 が $30,000 として、32 x $30,000 なので $1Mは軽く超えますね。
