引用 レイテンシーを極力抑え、費用対効果の高い推測を実現するため、 マイクロソフトは FPGA 上で稼働するハードウェアアクセラレーションモデルの一般提供を発表します。 また、NVIDIA および Intel チップセット上での高速推論に向け、NVIDIA TensorRT と Intel nGraph の ONNX ランタイムサポートも発表します。
引用 MLflow 実装、 TensorRT および Intel nGraph での ONNX ランタイムのサポート、 モデルの精度向上のためにキュレーションされたオープン データを提供する新しい Azure Open Datasets サービスなど、 選択肢と柔軟性を提供するオープン ソース機能
・cpu ・cuda ・mkldnn ・ngraph ・tensorrt
あー、Armがあったけど、どうなるのかな?
あー、ONNX RuntimeのBUILD.mdの中にあったよ。ARM Builds