はじめに
NVIDIAのGPUには、Copy Engine (DMA)がいっぱい入っています。NVIDIAのCopy Engineについては、下記のブログにまとめています。
Copy Engine
下記は、GP100 Pascal WhitePaper から説明のために引用します。
Copy Engine は、Crossbarに接続している HSHUB (High Speed Hub) に接続しています。
Blackwell の Copy Engine
下図がBlackwellの妄想図。H100までと同じと考えると、PCIe/NVLink がある場所に Copy Engine がありそう。
Blackwellの2 Dieを1つのGPUとして使うのであれば、これでOK。
しかしながら、Blackwellの2 Dieをそれぞれ違うGPUとして使う場合は、Die間のデータ移動をするCopy Engineが必要。PCIe/NVLink 側にある Copy Engine を使うというのもありだが、下図のように 2 Die の Crossbar 間の傍にCopy Engineを置く。
何でこんなことをするのかというと、推論などの2つのDieで動くプログラムを別にしたいケースなど。。。
Rubinはどうなるか？
Rubin では、Blackwell と同じ感じになるが、Rubin Ultra では下記のようになる。DMAが両側にある必要が無いが、どちらかには必要。
おわりに
Blackwell の 2 Die、Rubin Ultra の 3 Die では、今までと違う使い方もできるのかも？というのを妄想したのが今回の会であった。
では、今回はここまでで
次回も、Let's 妄想
