nGraphのONNXをサポート、ONNXIFIも間もなくサポート

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

Adaptable Deep Learning Solutions with nGraph™ Compiler and ONNXによると、

 The nGraph team has already released a Python importer for running inference with ONNX-formatted models and is planning to support the newly-released ONNXIFI interface soon.

とあります。

ONNXフォーマットのモデルを使った推論エンジンをPythonで利用できると。
そして、ONNXIFIインターフェースも間もなく、サポートすると？

え、ONNXIFIインターフェースって、何？

あ、Google君が直ぐに教えてくれたよ。ONNXIFI

で、nGraph は、

   nGraph uses the Intel® Math Kernel Library for Deep Neural Networks (Intel MKL-DNN), 
   and provides a significant performance boost on CPUs, such as those running in a cloud datacenter.

なので、x86_64では、MKLDNNを使うと。。。

で、nGraph の実力は？
ResNet50の推論で、
CNTKに対して5倍、Caffe2に対して28倍、PyTorchに対して10倍、PaddlePddleに対して、9倍速い。

何故なら、MKL-DNN がIntelが開発しているから、どうやって使えば、速くなるかを知っているからですよ。笑

で、ベンチマークに使ったコードも github にて、公開されていますよ。