はじめに

AWS Trainium の下記のブログ、Trainium搭載のBoardと Trainium がどのように接続しているのかの図もアップしています。

この中でずーと、気になっていたこと。なんとなく、わかったので記録に残します。

以下、図は上記のブログに記載したものを説明のために引用します。

NeuronLink-v2 は、384 GB/s

AWS Trainium の NeuronLink-v2 の帯域は、384 GB/s とあります。下図のように、4つの NeuronLink-v2 が載っています。

384 GB/s を 4で割ると、94 GB/s と中途半端になっています。

また、下記の図にあるように、16個のTrainium を接続したサーバーは下図のように接続されています。下図をよーく見ると、縦方向と横方向の線の色が違うんですよ。

これ、ずーと、気になっていました。

下記のブログにある、Trainium の基板、よーく見ると配線がわかります。

配線が分かる部分を拡大してみます。左右に x8 が2組、下に x8 が3組出ています。

上記の 16個の Trainium は、横方向に x8 が2組で接続して、縦方向は x8 が 1組で接続している。下にある x8 が3組の内、1組は Host との接続の PCIe Gen5

となると、

なので、これが、2 + 2 + 2 = 6 となり、32 GB/s x 6 = 192 GB/s、両側で x2 = 384 GB/s

これは、NeuronLink-v2 の帯域の 384 GB/s と一致します。

ということで、Trainium には、

あるということになります。