はじめに
NVIDIAがSC23にて、H200を発表しました。
上記のビデオでは、Ian Buck さん (Vice President of Hyperscale and HPC) が説明をしています。
NVIDIAのサイトにも H200 が載っていますね。
H200
H200 は、メモリHB3eで144GBになった H100 のようです。
GPT-3 175B Inference Performance において、下記のように性能向上があるようです。
このグラフによると、B100は H200の2倍以上のようです。
出荷は2024年になるようです。
計算性能も上がっている！
NVIDIAのH200のところに、性能が出ています。
- FP64 : 34 TFLOPS <= 30 TFLOPS
- FP64 Tensor Core : 67 TFLOPS <= 60 TFLOPS
- FP32 : 67 TFLOPS <= 60 TFLOPS
- BF16 Tensor Cores With sparsity : 1979 TFLOPS <= 2000 TFLOPS
FP64/FP32はちょっとあげっているような気がします。
- GPU Memory Bandwidth : 4.8TB/s <= 3TB/s
- 6.25GbpsなHBM3eっぽい (4.6875GHzなHBM3)
メモリは HBM3eですが、動作周波数は HBM3 の 6.4GHz 以下のようですね。
おわりに
10月11日の予測は、外れました。。。
H200 とは？ H200は、H100 を NVLINK-C2C で接続したものでは？と思っています。 GH200 が Grace + Hopper の 2 chio (die) になっているので、200 が付いているということから H200 は Hopper が 2個
GH200でも、
- HBM3 : 96GB
- HBM3e : 141GB
と発表していたので、HBM3eのGH100は出るのは想像できたんですけどね。。。
