MicrosoftのONNXRuntimeは、速い？

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった 

MicrosoftのBlogによると、ONNXRuntime は速いと。

cloudblogs.microsoft.com

• 17x BERT inference acceleration with ONNX Runtime

MicrosoftのONNXRuntimeは、こちら。

github.com

現時点では、

CPU

• Default CPU - MLAS (Microsoft Linear Algebra Subprograms) + Eigen
• Intel DNNL
• Intel nGraph
• Intel MKL-ML

GPU

• NVIDIA CUDA
• NVIDIA TensorRT
• DirectML

IoT/Edge/Mobile

• Intel OpenVINO
• ARM Compute Library (preview)
• Android Neural Networks API (preview)

Other

• Nuphar Model Compiler

BERTとの比較では、Default CPUの MLAS なのかな？