はじめに
NVIDIA GB200 NVL 72 に プラットフォーマーである
でどのように使われているかの情報が流れてきたので、記録に残します。
NVIDIA GB200 NVL 72
下記のXの投稿に、
の写真が載っています。
は、右側(コネクタが無い側)から水冷のためのケーブルが繋がっています。
この投稿には、Meta も GB200 NVL 72 ベースっぽですね。
NVIDIAの公式ブログでも GB200 NVL72 の解説がアップされています。
全体図は下記のようになっているようです。説明のために引用します。
Microsoft
下記のXの投稿
Microsoft Azure is the 1st cloud running @nvidia's Blackwell system with GB200-powered AI servers. We're optimizing at every layer to power the world's most advanced AI models, leveraging Infiniband networking and innovative closed loop liquid cooling. Learn more at MS Ignite. pic.twitter.com/K1dKbwS2Ew
— Microsoft Azure (@Azure) 2024年10月8日
記録のための画像を引用します。
計算器である NVIDIA GB200 NVL 72 のラックの隣に、2ラック分の冷却システムがありますね。
下記のXの投稿
We’ve been working closely with @nvidia to sustainably build compute infrastructure of the future. Check out a sneak peek of our custom GB200 NVL racks running in our labs.
— Google Cloud (@googlecloud) 2024年10月15日
Register for the App Dev & Infrastructure #GoogleCloudSummit to learn more → https://t.co/tICbhLFN4i pic.twitter.com/H9dCweMM54
記録のための画像を引用します。
1ラック分のネットワーク関連に機器が繋がっていますね。
Meta
下記の記事
記録のための画像を引用します。
NVIDIA GB200 NVL 72 の Rear 側も載っていますね
おまけの Lenovo
Lenovo は独自に GB200 を使ったサーバーを開発しているようです。
下図の記事の中にある写真です。説明のために引用します。1Uサーバーに2基のGB200と、5個のConnect-X7かな？が載っています。また、GraceとConnect-X7の間にチップがあるようです。これは何でしょうかね。この部分も水冷ですね。
水冷は必要
上記の NVIDIA の写真から水冷は必要なので、Microsoft だけでなく、Google/Meta もどこかに水冷システムはいるんでしょうね。
おわりに
GB200 x 10万台 だと、GB200 NVL 72 x 1,389 セットですね。水冷等で2ラック追加されるとなると、
1,389 セットでは、3倍の 4,167 ラック になり、かなりの設備が必要になるんですね。。。。
