はじめに
ちょっと古い情報ですが、記録として
NVIDIA H100 PCIe Card のメモリは、HBM2e 80GB (16GB x 5個)ですが、なんと、120GB メモリを搭載したものがあると
下記のツイートです。説明のために引用します。
nvidia H100计算卡120GB版本，是的，我的一位朋友已经拥有并使用它了。相比之下，普通的H100只有80GB HBM2E显存，说明nvidia在H100上还是留了一手牙膏。nvidia hopper H100 120GB PCIE, yes, A mystery friend of mine already owns and uses it. pic.twitter.com/DtyQkeB38w
— cmdkai (@cmdkai) 2022年10月3日
HBM2e ではなく、HBM3 ?
H100 PCIe 版のメモリは、HBM2e です。
HBM2e では16GB、16Gbit x 8 stack が最大です。24GBになると、HBM3 の 16Gbit x 12 stack = 24GB でないと無理そうです。
となると、HBM3 搭載の H100 なんでしょうかね。
Ada LovelaceなAD102搭載の RTX 4090 はメモリ24GBだけど、お高い A6000 Ada は、メモリ48GBです。
特別なお客様用なんですかね。
おわりに
H100、PCIe 版や SMX5版でも HBM2e/HBM3 が5個だけ有効です。一方、Grace-Hopper Superchipでは、HBM3 6個有効になり、96GB になっています。
GTC2023 で、H100 NVLなるものがアナウンスされていて、メモリが 94GB x 2 (2枚構成)になっています。96GBに対して2GB 少ないですが。。。
