HBM3e : 7.2 => 8 => 9 => 9.2 => 9.4 => 9.8Gbps

はじめに

生成AIバブルによって、お高いGPUについているHBM3の次のバージョンである、HBM3e の動作周波数がどんどん上がっています。

下記のXの投稿によると、たぶん、Tbps は *8/1024 で計算しているようです。

I love the memory industry so much, in the span of 5 months a ton of announcements on HBM3E.
Everyone is literally just one upping + horse jockey each other.
Samsung - 7.2Tbps
SK Hynix - 8Tbps
Samsung - 8Tbps
SK Hynix - 9Tbps
Micron - 9.2Tbps
SK Hynix - 9.4Tbps
Samsung - 9.8Tbps

— Dylan Patel (@dylan522p) 2023年10月20日

• Samsung : 7.2 Tbps
• SK Hynix : 8.0 Tbps
• Samsung : 8.0 Tbps
• SK Hynix : 9.0 Tbps
• Mincron : 9.2 Tbps
• SK Hynix : 9.4 Tbps
• Samsung : 9.8 Tbps

HBM3 からの性能向上

HBM3では、6.4 Gbps なので、HBM3e の 9.8 Gbps だと、1.53倍になりますね。

LLM ではメモリアクセスがボトルネックになっています。なので、少しでも速いメモリがあると嬉しいわけです。

しかし、動作周波数が高くなれば当然消費電力が増えます。。。ね。

おわりに

AMD の MI300X は 144GB (24 x 8個)搭載すると発表しています。HBM3e のどのぐらいの動作周波数ですかね。

来年発表になる、NVIDIA B100 はどうなるでしょうかね。