はじめに
NVIDIAのH200
ずーと、HGX H200 のみの提供だと思っていましたが、
- NVIDIA H200 NVL for PCIe
なるものもあるようです。
NVIDIA H200 NVL for PCIe
上記の画像は、下記のサイトから説明のために引用します。
H200は、SMX。NVIDIA H100 NVL for PCIe は SMXな H100。なので、SMXなH100 を SMXなH200 に変えただけなんでしょうか？
Dieは同じ GH100 なので、計算能力は同じ。メモリが違うだけ。下図は、上記のサイトにあるものを説明のために引用します。
左から
- H100 PCIe
- H100 NVL for PCIe
- H100 SMX
- H200 NVL for PCIe
- H200 SMX
です。
- H100 PCIe
- H100 SMX
のメモリ帯域が違うのは最初からそうだったのですが、H100 NVL for PCIe で 3.4TB/s => 3.9TB/s 。。これ、メモリが5個から6個になったので、1個のメモリの帯域は減っているはず。
で、H200になると、4.8TB/s に
- H100 PCIe : 2.0TB/s / 6 x 8 / 1024bit = 3.125Gbps
- H100 NVL for PCIe : 3.9TB/s / 6 x 8 / 1024bit = 5.078Gbps
- H100 SMX : 3.4TB/s / 5 x 8 / 1024bit = 5.31Gbps
- H200 NVL for PCIe : 4.8TB/s / 6 x 8 / 1024bit = 6.25Gbps
- H200 SMX : 4.8TB/s / 6 x 8 / 1024bit = 6.25Gbps
おわりに
H200もPCIe版があるですね
H200って、メモリ帯域増えるんですね。。。
HBM3 って、6.4Gbps まであるようですが、ちょっと低めにしているのは何か、理由があるのでしょうかね。
これになり、
- メモリ容量増 : 80GB/94GB => 141GB
- メモリ帯域増 : 2.0TB/3.4TB/3.9TB => 4.8TB
になるんですね。
