Vengineerの妄想(準備期間)

人生は短いけど、長いです。人生を楽しみましょう!

MicrosoftのONNX RuntimeがTensorRTとnGraphをサポート?



引用
  レイテンシーを極力抑え、費用対効果の高い推測を実現するため、
  マイクロソフトFPGA 上で稼働するハードウェアアクセラレーションモデルの一般提供を発表します。
  また、NVIDIA および Intel チップセット上での高速推論に向け、NVIDIA TensorRT と 
  Intel nGraph の ONNX ランタイムサポートも発表します。


引用
  MLflow 実装、
  TensorRT および Intel nGraph での ONNX ランタイムのサポート、
  モデルの精度向上のためにキュレーションされたオープン データを提供する新しい Azure Open Datasets サービスなど、
  選択肢と柔軟性を提供するオープン ソース機能


ONNX Runtimeを覗いてみたら、onnxruntime/core/providers/にありましたよ。既に。

 ・cpu
 ・cuda
 ・mkldnn
 ・ngraph
 ・tensorrt

これで、Intel x86_64 と NVIDIAをサポートしたので、もうやることないのか?

Azure Data Box EdgeというFPGAが入ったものがあるんですが、これはサポートされないのかな?

あー、Armがあったけど、どうなるのかな?

あー、ONNX RuntimeのBUILD.mdの中にあったよ。ARM Builds