@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった
このブログで、Google の XNNPack の紹介をしたのは、5回
その中で、TensorFlow Lite の Delegate として登場したのも紹介しました。
で、本家から、TensorFlow Lite に XNNPack を統合して、処理速度も速くなったというブログがアップされましたよ。
TensorFlow 2.3 にて、Android と iOS 用の TensorFlow Lite の backend のバイナリも含まれていると。
でも OK と。
XNNPack backend を使うと、
- Pixel 2 Snapdragon 835
- Pixel 3a Snapdragon 670
- Galaxy S8 Snapdragon 835
- Galaxy S10 Snapdragon 855 / Exynos 9820
- Redmi 6 Pro Snapdragon 625
に対して、色々なモデルで、数十%の性能向上になるようです。
お、どれも、Snapdragon じゃー、ないですか。。。
- ThinkStation P520
- ThinkPad X1 Gen 6
- MacBook Air 8.1
- Raspberry Pi 4
- Raspberry Pi Zero W
X86-64だと、800%から300%ぐらい速くなっていますね。
Raspberry Pi Zero W も、200%アップってありまっすね。
XNNPack の x86-64 AVX および Arm NEON でのコードのパワーが発揮していますね
将来的には、
- Integration of the Fast Sparse ConvNets algorithms
- Half-precision inference on the recent ARM processors
- Quantized inference in fixed-point representation
のようなので、ケースによっては、まだまだ速くなりそうです。