@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった
Twitterで流れてきたこの論文。
凄いぞ。NVIDIAのNVSwitchにこのTensorDIMMがたくさん搭載されたTensorNodeを直付けるって
そのTensorNodeの仕様は、
- DRAM specification DDR4 (PC4-25600)
- Number of TensorDIMMs 32
- Memory bandwidth per TensorDIMM 25.6 GB/sec
- Memory bandwidth across TensorNode 819.2 GB/sec
32枚のDIMMを差すシステムって、かなり大きいと思うんだけどね。
メモリをDDR4じゃなくて、HBMにするとどうなるだろうか？
SamsungのHBM2Eなら16GB + Peak 410GB/s なので、2つで819.2 GB/sを超えるね。
4つの HBM2E (16GB、合計で64GB) を搭載した TensorDIMM (この場合は、TensorHBM かな？)で、1640 GB/s なるぞ。。。
