はじめに
NVIDIA H200 NVL って、9月の時点でこのブログで取り上げています。
この時点では、TensorCore BF16 の性能は、
- H100 PCIe : 756 TFLOPS
- H100 NVL for PCIe : 989 TFLOPS
- H100 SMX : 989 TFLOPS
- H200 NVL for PCIe : 989 TFLOPS
- H200 SMX : 989 TFLOPS
で、H100 PCIe 以外は同じ計算性能ということでした。
の下記のデータから確認しました。
これが、今回、SC24に合わせて発表された NVIDIA H200 NVL の計算性能が変わっています。
NVIDIA H200 NVL
ブログは、下記にあります。
そして、H200 NVLの仕様は、ここにあります。下記に仕様を引用します。値は、疎性の方なので、この半分が上記の値と同じになるはずです。
TensorCore BF16を比較すると、
- H200 SMX : 3958 TFLOPS なので、半分の 1979 TFLOPS
- H200 NVL : 3341 TFLOPS なので、半分の 1670.5 TFLOPS
1670.5/1979 = 84.4%
の計算能力になりますね。
消費電力は、前のブログの時と同じで600W です。ということは、H200 SMXと同じだと、消費電力の600Wを超えるので、計算能力を減らしたんでしょうかね。 まー、HBMの消費電力が結構増えちゃったんでしょうね。
H100 NVLが 400W とあるので、94GB/HBM3 から 141GB/HBM3e にすると、200W以上増えたということなんでしょうね。
おわりに
ということで、H200 NVL は、H200 SMX の 84.4% の計算能力ということになります。
HBM、消費電力が大きいですね。
あ、H100 NVL を NVIDIA のサイトで確認したら、H200 NVLと計算能力、同じですね。
ということは、
の値が間違っているのか、どこかで仕様変更が発生したのでそうかね。。。。
