はじめに
先週のGTC2023で、H100 NVL なるものが Launch されました。
H100 NVL
下記は、H100のサイトにある写真です。説明のために引用します。
仕様は下記のようになっているようです。説明のために引用します。
Official spec table: pic.twitter.com/EnvMUBygy6
— Andreas Schilling 🇺🇦 (@aschilling) 2023年3月21日
によると、GPU Memory が 80GB x 2 = 160GB ではなく、188GB になっています。こちらは少しでもメモリ容量を増やす感じなんですかね。HBM3としては、H100には96GB載っているので、x2 だと、192GB、188GBでは、4GB 少ないですね。これ、なんなんでしょうか？
また、NVLink は SMX5の 900GB/s に対して、600GB/s のようです。上記の写真から３組で２枚のH100を接続しているので、１組で200GB/s。H100からはNVLink は x18 。x6 で 200GB/s。動作周波数を下げているんですね。こちらは消費電力を下げるためのようです。SMX5の TDP Up to 700W に対して、H100 NVL の 2 x 350 - 400W です。
NVIDIA H100 PCIe GPU Product Brief に、NVLink の仕様がありました。
48 @100Gbps = 4800Gbps/8 = 600GB/s
900GB/s だと、72@100Gbps、18 x 4
おわりに
H100 が日本円で450万円のようなので、H100 NVL はスペックも上がっているので、2枚構成だと、1000万円ぐらいですかね。
なんだか、とんでもない値段ですね。。。。
関連記事
