Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう!

GraphcoreのBaidu’s Deep Voice 3モデルのベンチマーク

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそすべては、SystemC v0.9公開から始まった 

こちら。

www.graphcore.ai

ベンチマークの結果は、記録のために引用します。ここに出ているGPUって、12nmのもととあるので、NVIDIA V100 ですかね。

MK1 IPU で、6倍以上、MK2 IPUでは14倍以上の処理能力と。

 

Deep Voice 3 Training on IPU

- With data-parallel training on a C2 card with 2 MK1 IPUs (batch-size of 4)

- With a single MK2 IPU in an IPU-M2000 and a batch-size of 16

とあるので、MK1では2個のIPU、MK2では 1個のIPUなので、MK2はMK1の4倍以上なのか?

おまけに、バッチサイズも4から16と4倍に。これって、SRAMのサイズを3倍にした効果かな。。