はじめに

NVIDIA Ada Lovelace (AD102)ベースの RTX 6000は、Cudaコアは H100より多い！

videocardz.com

RTX 6000

RTX 6000 のお値段、$7350からスタートのようです。仕様は。

CUDA Cores : 18,176
Tensor Cores : 568
RT Cores : 142
Memory : 48GB GDDR6@20Gbps with ECC, 384-bit, 960GB/s
PCIe Gen 5.0 x 16

RTX 4090 の仕様は、

CUDA cores : 16384
Tensor Cores : 512
Memory : 24GB, GDDR6X@21Gbps, 384bit, 1008GB/s

AD102 の仕様は、

CUDA Cores : 18,432
Tensor Cores : 576
RT Cores : 144
Memory : GDDR6X@22.4Gbps (RTX 4080)
L2 Cache : 98304 KB (12 x 8192KB)
PCIe Gen 5.0 x 16

GH100の仕様は、

CUDA Cores : 18,432
TensorCores : 576
Memory : 6 x HBM3/HBM2e, 12 512-bit Memory Controllers
L2 Cache : 60 MB

H100/SMX5の仕様は、

CUDA Cores : 16,896
TensorCores : 528
Memory : 6 x HBM3/HBM2e, 12 512-bit Memory Controllers
L2 Cache : 50 MB

H100/PCIe Gen5の仕様は、

CUDA Cores : 14,592
TensorCores : 456
Memory : 6 x HBM2e, 12 512-bit Memory Controllers
L2 Cache : 50 MB
80 GB HBM3, 5 HBM3 stacks, 10 512-bit Memory Controllers

AD102 と GH100 は、

CUDA Cores
TensorCores

は同じで、L2 Cache は AD102 の方が多いです。メモリ帯域は 1TB/s 程度なので、GH100の 1/3 程度です。

CUDA Coresの比較では、

GH100 == AD102 > RTX 6000 > RTX 4090 > H100/SMX5 > H100/PCIe

です。となると、RTX 6000 はメモリが RTX 4090 の倍の 48GB、H100/PCIeの半分強でお値段が 1/4 以下なのはお得のような気がします。

ちなみに、GA100は、Memory Controller には、(8 x 512KB = 4096KB)の L2 Cache が付いています。12個のメモリコントローラがあるので、48 MB になります。これから、GH100では、(10 x 512KB = 5120KB)のL2 Cacheになるので、12個のメモリコントローラでは 60MB になります。