はじめに
AWSのTrainium と Inferentia2には、NeutronLink-v2というチップ間を接続する機能が入っているということは、このブログでも紹介しました。
その NeuronLink-v2 には、Collective Communication が入っているというこの今回のお話。
Neuron Collective Communication
awsdocs-neuron.readthedocs-hosted.com
によると、
Neuron provides the following Collective Communication operators:
- all-reduce
- all-gather
- reduce-scatter
Neuron also provides the following peer to peer operators:
- send
- receive
のようです。
Trainium では、2D Torus
下図を上記のページから説明のために引用します。Trainium x 16個で、NeuronCore-v2 が 32 個の 2D Tourus 構造になっています。
Inferentia 2の構造
下図を上記のページから説明のために引用します。Inf2.48xlarge topology にて、12個の Inferentia2 を NeuronLink-v2 で繋げています。
おわりに
Inferentia1のNeuronLink-v1は、32GB/sec/device のようです。つまり、NeuronLink-v1 は、16GB/s
Inferentia2のNeuronLink-v2は、192GB/sec/device のようです。つまり、NeuronLink-v2 は、96GB/sで、v1 の6倍。
