マイクロソフトのONNXランタイム

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

ONNX Runtime for inferencing machine learning models now in preview

　・残念ながらOSSではない
　・pip でインストールするもの
　・ONNX 1.3ではなく、1.2なのは、何故？ 
　・Cuda 9.1 なんだけど、何故？今は、Cuda 9.2 から Cuda 10.0 なんだけどね。
　・CPU、MKL-DNN、nGraph、CUDA、TensorRT
　　つまり、IntelとNVIDIAは、おさえた。。。
　・Azure、.NET、Windows Device
　　あれ、nGraph って、Windowsでも動くの？ あー、Azureで Ubuntu VM が動くからね。

下記の図は、引用です。

中を見たら、グラフを分割して、並列・分散処理をするようですね。
これが特徴なのかな。。。
この部分って、Brainwaveのシステムを利用しているのかな。。。。

何といっても、ONNXがディープラーニングのエコシステムの中心になったので、
皆でONNXのランタイムを開発中、なんだね。。。

ドキュメント

ここにあるサンプルコードは、下記のようなもの。ONNXモデルを読み込んで、入力を設定して、runを実行するだけ。
簡単ね。。。。

    import onnxruntime as rt
    sess = rt.InferenceSession("model.onnx")
    input_name = sess.get_inputs()[0].name
    pred_onnx = sess.run(None, {input_name: X})

マイクロソフトのONNXランタイム、