・DNNLibrary is a wrapper of NNAPI ("DNNLibrary" is for "daquexian's NNAPI library). It lets you easily make the use of the new NNAPI introduced in Android 8.1. You can convert your onnx model into daq and run the model directly.
NNAPIでは、TensorFlow Liteモデルを変換して使うのが一般的ですが、このライブラリを使えば、ONNXモデルが動くと。。
量子化もサポートしているようです。
ベンチマークとしては、Google Pixel と RK3399 で MbileNetV2 と SqueezeNet v1.1 を
引用 ・Google Pixel API 28 MobileNet v2 132.95 ms 7.5 fps ・Google Pixel API 28 SqueezeNet v1.1 80.80 ms 12.3 fps ・RK3399 API 27 MobileNet v2 59.90 ms 16.6 fps ・RK3399 API 27 SqueezeNet v1.1 51.10 ms 19.5 fpsのようで、これって、速いものでしょうかね。。。
ONNXモデルが動くなら、便利ですよね。。。