このブログでも、Xnor.ai Binarization with OpenVINOで紹介した xnor.ai
MobileNet v1 SSD 0.75 depth modelをRaspberry Pi 3, Model B+ 上の TensorFlow、TensorFlow Lite、Xnor AI2GOをつかって推論させたら、TensorFloの約4倍、TensorFlow Liteの約2倍の性能が出たようです。
ちなみに、このブログの著者のBenchmarking Edge Computingは、
・Coral Dev Board ・Intel Neural Compute Stick 2 ・Movidus Neural Compute Stick ・NVIDIA Jetson Nano ・Raspberry Pi 3, Model B+ ・Coral USB Acceleratorのベンチマークをしていて、とってもまとまっています。
AI2GOが動くハードウェアは、下記の6種類のようです。
・Linux x86_64 ・macOS ・Raspberry Pi 3 ・Raspberry Pi Zero ・Toradex Apalis iMX6 ・Ambarella S5LAndroid、iOS、Jetson TX2、Windows 10は、将来的にサポートされるようです。
Toradex Apalis iMX6は、モジュール。
Ambarella S5Lは、カメラ用SoC(Cortex-A53搭載)
なお、X86-64マシンについては、AVX2が必要なようです。