Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう!

TensorFlow Lite XNNPack Integration?

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそすべては、SystemC v0.9公開から始まった 

このブログで、Google の XNNPack の紹介をしたのは、5回

vengineer.hatenablog.com

その中で、TensorFlow Lite の Delegate として登場したのも紹介しました。

vengineer.hatenablog.com

で、本家から、TensorFlow Lite に XNNPack を統合して、処理速度も速くなったというブログがアップされましたよ。

blog.tensorflow.org

TensorFlow 2.3 にて、AndroidiOS 用の TensorFlow Lite の backend のバイナリも含まれていると。

サポートする OS は、AndroidiOS 以外に

でも OK と。

XNNPack backend を使うと、

  • Pixel 2   Snapdragon 835
  • Pixel 3a    Snapdragon 670
  • Galaxy S8   Snapdragon 835
  • Galaxy S10    Snapdragon 855 / Exynos 9820
  • Redmi 6 Pro  Snapdragon 625

に対して、色々なモデルで、数十%の性能向上になるようです。

お、どれも、Snapdragon じゃー、ないですか。。。

X86-64だと、800%から300%ぐらい速くなっていますね。

Raspberry Pi Zero W も、200%アップってありまっすね。

 

XNNPack の x86-64 AVX および Arm NEON でのコードのパワーが発揮していますね

 

将来的には、

  • Integration of the Fast Sparse ConvNets algorithms
  • Half-precision inference on the recent ARM processors
  • Quantized inference in fixed-point representation

のようなので、ケースによっては、まだまだ速くなりそうです。