はじめに NVIDIA の P100/V100/A100/H100のNVLINKの各ポートとMemory Controllerの帯域を比較してみました。 NVLINK P100 : v1 (20GB/s) x 4 porsts V100 : v2 (25GB/s) x 6 ports A100 : v3 (25GB/s) x 12 ports H100 : v4 (25GB/s) x 18 ports Memory Cont…