@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった
We are very excited to share details of our collaboration with Microsoft, announcing preview of Graphcore IPUs on the Microsoft Azure cloud.https://t.co/V6vy8QdQji
— graphcore (@graphcoreai) November 13, 2019
によると、MicrosoftのAzureにて、GraphcoreのIPUが使えるようになると。
今週のSC19にて、いろいろとあるそうな。
Graphcoreの性能は、あの BERT の BERT Baseなるモデルの学習を8枚の IPU PCIeカード(1枚のカードに2個のIPUが載っているので、システムでは16個のIPU)にて、56時間。GPU(PyTorch)との比較があったんだけど、時間的には同じぐらいだけど、20％省電力が売り。。。図にはGPU(TensorFlow)の学習時間も載っていますが、1.8倍ぐらいかかっているのは何故？
BERT Baseの推論では、LatencyはGPUより速く、スループットは3倍で。
RESNEXT-101の推論でもGPUよりはるかにいい成績を出していると。あれ、ResNet-50じゃないんだ、ResNext-101ぐらいにならないと、比較できないのかな？
それから、Group Convolution KernelsもGPUより速くなっているんだって。これって、Group Convolutionが得意なアーキテクチャになっているってことなんでしょうか？
Softwareとしては、Polarにて、TensorFlowとONNXをサポート。。。
ということは、学習はTensorFlowでONNXは推論と思っていたが、
Graphcore also delivers a full training runtime for ONNX and is working closely with the ONNX organisation to include this in the ONNX standard environment.
とあって、ONNXでも学習できるんだって。ここにあるように、将来的に普通にONNXで学習できるようになるんでしょうね。
PyTorchのサポートは、2019年Q4で2020年の早い時期にはフルサポートに。
やっぱり、
- TensorFlow
- PyTorch
- ONNX
なんだね。
