マイクロソフトのCataplut v2は、 1). compute workloads 2). Azure infrastructure workloads の二種類をアクセラレートすると書いてある。 今日の講演は、 2).のことだったのだろう。
ワークショップの他の講演でもありましたが、GPUをマルチノードで利用すると、データをノード間で移動する必要がある。
一般的にはノード間は、Infinibandで接続している。ノード間の移動には、MPIを使うので、GPU側のメモリ上のデータを一度、システムメモリにコピーしてから、MPIでノード間を移動する。
一般的にはノード間は、Infinibandで接続している。ノード間の移動には、MPIを使うので、GPU側のメモリ上のデータを一度、システムメモリにコピーしてから、MPIでノード間を移動する。