はじめに
Microsoft が OpenAI のために構築した NVIDIA GB300 NVL72 の Compute Tray が下記のブログにのっていました。
その Compute Tray を詳しく見てみたら、NVIDIAのものとちょっと違うので記録に残します。
NVIDIA GB300 NVL72
の Compute Tray の front部は下記のようになっています。
Compute Tray内の接続図は、下記のようになっています。
両サイドに ConnectX-8 が 2個づつ、真ん中に8つのStorage( E.1 Storage、実際は4個っぽい)、右側のConnectX-8 の上が BlueField-3 です。
Microsoft の NVIDIA GB300 NVL72 の Compute Tray
下図は、上記のブログにある GB300 NVL72 Compute Tray です。説明のために引用します。
Compute Tray の Front側が、NVIDIAのGB300とは、出ているポートの位置が違います。
右側に ConnectX-8 が 2ポート、その上が BlueField-3、その左側が E.1 Storage が 5個、その左隣が ConnectX-8 が 2ポート。その左隣は、BMC っぽいですね。
Compute Tray での PCIe cable として
- 黄色 : ConnectX-8 x 2 が2組
- 黄緑 : BlueField-3
- 赤色 : E.1 Storage x 5
- ピンク : BMC ?
が繋がっているようです。
Front側の基板とPCIe cable が接続している基板はコネクタ(オレンジ色のところ)で接続されています。結構面積が多いですね。
おわりに
NVIDIA GB300のCompute Tray には、
- Grace + Blackwell x 2 が2枚
- ConnectX-8 が4個 + E.1 Storage
- BlueField-4 が 1個
- BMC 関連が1個
- M.2 が1個
必要だけど、基板に関しては、独自に開発しているんですかね。。。
