Vengineerの妄想

人生を妄想しています。

NVIDIA Mellanox ConnectX-5/6/7 には、PCIe Switch が入っている

はじめに

NVIDIA Mellanox ConnectX-7には、PCIe Switch (Bridge) が入っているのは、このブログでも紹介しました。

vengineer.hatenablog.com

では、その前に、ConnexcX-5 や ConnectX-6 ではどうだったのでしょうか？

ConnectX-5 と ConnectX-6 も PCIe Switch が入っていた

ConnectX-5 Product Briefに、

  • PCIe Gen 4.0 – Auto-negotiates to x16, x8, x4, x2, or x1 lane(s) – Embedded PCIe Switch: Up to 8 bifurcations

とあります。ConnectX-5は、100Gbps なので、PCIe Gen4 x8 (16Gbps x 8 = 128Gbps) で大丈夫そうなので、ホストCPUとは PCIe Gen4 x8 で接続し、その下に、x8 lanes 分の Switch ができるということで、最大8個に分割できるということです。

ConnectX-6 Product Brief では、

  • 16 lanes of PCIe Gen4, compatible with PCIe Gen2/Gen3
  • Integrated PCI switch
  • NVIDIA Multi-Host and NVIDIA Socket Direct™

こちらも PCIe Gen4 x16 ですね。ConnectX-6 は 200Gbps なので、Gen4 の 16Gbps x 16 = 256 Gbps なのですが、x16 なんですかね。。。

ConnectX-7 Product Brief では、

  • PCIe Gen 5.0 compatible, 32 lanes Support for PCIe bifurcation
  • NVIDIA Multi-Host™ supports connection of up to 4x hosts
  • Transaction layer packet (TLP) processing hints (TPH)
  • PCIe switch Downstream Port Containment (DPC)

ConnectX-7 は、400Gbps なので、PCI Gen5 32Gbps x 16 = 512Gbps なので、x32 なら、x16 + x16 で使えますね。

おわりに

ConnectX-7については、NVIDIA DGX H100 でPCIe Switchとして使われています。

ConnectX-5については、下記のツイートにて、イタリアのLeonardのBooster Blade (Da Vinci)の中で、CPUとGPUの間でx16 の PCIe Switchとしｔも使われています。

ConnectX-6 は、PCIe Switch として使われている例が見つかりません。

下記のように、ConnectX-6が第4世代ということは、ConnectX-3 から Multi Host をサポートしているんですね。