はじめに

Micron から HBM3 Gen2 の発表がありました。転送レートは、9.2Gbps です。1024bitなので、転送帯域は1177.6GB/s です。

HBM3 Gen2

HBM3が 16Gbit x 8 stack で 16GB＠6.4Gbpsに対して、HBM3 Gen2 では 24Gbit x 8 stack で 24GB@9.2Gbpsということになります。

12 stack にて、36GBとなります。

となると、NVIDIA H100ではHBM3 16GB x 6 = Max 96GBが、HBM3 Gen2 では 24GB x 6 = 144GB、36GB x 6 = 216GB となります。

メモリ用量が1.5倍、2倍にできそうなので、H100 の次と噂されている B100 もそのまま6個のHBMというの大いにありそうです。

B100の発表は2024年、実際に物が出てくるのは2025年なので、24GBは使えそう、36GBはどうかな？って感じですが、アップグレードバージョンではありえるのでは？という感じですかね。

となると、

という感じですね。

スピードは、6.4Gbps => 9.2Gbps = 1.4375倍になります。つまり、1.4倍までアクセスするブツを増やせるということですかね？ (キャッシュが入るので、そんな単純ではないですが)