はじめに

SK hynix が HBM3 で 12 stacks 、24GB品のサンプルを始めたようです。

NVIDIA H100 に、120GB が出るね！

SK hynixは、NVIDIA H100用にHBM3を供給しています。

今まで、HBM3はHBM2eと同様に 8 stacks、16GB品まででした。これにより、NVIDIA H100では 6個のHBM3なので、96GB。その内、5個が通常有効なので80GBでした。今回の 12 stacks、24GBを使うことで、1.5倍になり、144GB/120GB になります。

これにより、NVIDIA DGX H100では、80GB x 8 = 640GB から 120GB x 8 = 960GB となり、ホスト側のDRAM、2TB の約半分となりますね。

2023年4月22日のブログで、H100 120GB の存在について書いたので、PCIe 版で HBM3 120GB は存在しているっぽいですね。

HBM3は 16 stacks までは行けそうなので、32GB品もいづれ出てくるんでしょうね。