はじめに NVIDIA GH200の ZeRO-Inference のベンチマーク値が出てきたので見てみます。 lambdalabs.com ZeRO- Inference とは、 www.deepspeed.ai GH200 vs H100-80GB vs A100-80GB 下図は上記の記事から説明のために引用します。 Bloom 126b inference Perf…