はじめに
このブログでも紹介した AMD の MI250 を使ったシステムの構成図を見つけました。
Crusherのシステム構成
上記のページの構成図を下記に説明のために引用します。
- AMD EPYC 7A53 (Zen 3)、Trento
- MI250X x 4
- NIC x 4
NVMe SSD x 4 (PCIe Switch経由)
EPYC 7A53 <=> MI250Xの各 die間 は、Infinity Fabric : 36+36GB/s
- MI250X内の die間は、Infinity Fabric : 200+200GB/s
- MI250X 間は、Infinity Fabric : 50+50GB/s
- MI250X <=> NIC間は、PCIe Gen4 ESM (50+50GB/s) .... PCIe Gen4 x16 が (16 + 16GB/s)なので、3倍以上。。。どうしているんだろうか？
- EPYC 7A53 <=> PCIe Siwtch <=> NVMe SSD : PCIe Gen4 x4 (8 + 8GB/s)
- Ethernet : 25+25GB/s (200Gbps)
下記の記事によると、
- PCIe Gen4 ESM (Extended Speed Mode)、GCDに PCIe Root Complex が実装された
Synopsysの下記の記事によると、CCIXではESMがサポートしていて、ESM Data Rate1 では 16.0 GT/s or 20.0 GT/s or 25.0 GT/s になるようです。
これでも、50GB/s に対して半分です。
INTRODUCING AMD CDNA™ 2 ARCHITECTURE の8頁には、
The last interface is a downstream PCIe 4.0 ESM link that operates at up to 25Gbps. Unlike the host interface, this downstream interface is coupled to a PCIe root complex, which can drive I/O devices that are connected to the GPU.
とあるので、25Gbps x 8 x 2 = 50GB/s になるということですね。対抗のNICは何を接続するのだろうか？
関連ブログ：
参考資料
