PFNが攻めてきている

Vengineerの戯言 : Twitter、Slideshare
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

プレスリリース：Preferred Networks、深層学習の学習速度において世界最速を実現
大規模な並列コンピュータを活用し、分散学習パッケージChainerMNでImageNetの学習を15分で完了

論文：Extremely Large Minibatch SGD: Training ResNet-50 on ImageNet in 15 Minutes

Twitter :
@keisukefukuda
@iwiwi
@hillbig

ChainerMNで、ResNet-50をImageNetの学習を15分で完了と。。。

Preferred Networks、民間企業の計算環境として 国内最大級のプライベート・スーパーコンピュータを9月から稼働
NVIDIA(R)製 Tesla(R) P100 GPUを1,024基搭載の環境でChainerMNにてと。。。

学習時間が15分になるというと、1時間に4回、一日に、4*24=96回。。。そう、約100回できると。

すべてのモデルが15分で学習できるわけではないですが、このぐらいの時間で学習できると何が変わるのでしょうか？

いろんなモデルをどんどん学習できるんですよ。

15分に1個のモデルを投入できるんですよ。つまり、15分に1個のモデルを投入しないといけないんですよ。

PFN内の優秀な研究者＆エンジニアが15分に1個のモデルを作れるんでしょうね。。。
いや、もしかしたら、もっと速くモデルが作れる仕組みを既に持っているのかもしれません。

1024基のP100がフル動作しているんですね。P100なので、V100になったら、もっと速くにはなるんでしょうね。。。

訪問者数、256