…、Google の XNNPack の紹介をしたのは、5回 vengineer.hatenablog.com その中で、TensorFlow Lite の Delegate として登場したのも紹介しました。 vengineer.hatenablog.com で、本家から、TensorFlow Lite に XNNPack を統合して、処理速度も速くなったというブログがアップされましたよ。 blog.tensorflow.org TensorFlow 2.3 にて、Androi…

…Mobile Backend 用 として、Google XNNPACKを統合した模様 github.com PyTorch Mobile って、GPUじゃなくて、CPUのThreadPoolで頑張っているみたいで、CPUの性能改善に、Google XNNPACK を使えるようにしたようです。 ThreadPoolにも、XNNPACK用のものがありますよ。=> こちら。 Pythonでも使えるようですね。ここ ( XNNPACKEngine ) jit 対応もしている模様。ここ

…曜日、GoogleのXNNPACKのソースコードを眺めていた時に、ちと気になったこと。。。 推論時の入力データからモデルに入って、出力データという流れにおいて、モデルの各Opの入力と出力に使っているバッファ用メモリってどのように使っているかというもの Keras/TensorFlowやPyTorchで学習し、推論用環境に学習したモデルをインポートし、各環境用のモデルに変換しますよね。この時、各Opの入力と出力にはバッファを静的に割り当てているような気がします。推論するのがハー…

…った GoogleのXNNPackについては、このブログでも2回取り上げています。 vengineer.hatenablog.com vengineer.hatenablog.com で、実装を眺めてみました。f32-gemm です。 ここ にいろいろなファイルがありますね。ベンチマーク も。 4x8 の実装は、aarch32 で5種類、aarch64 で6種類もありますね。 aarch32 neon-ld64 aarch32 neon-cortex-a53 aarch32 …

…き、 GoogleのXNNPACKのdelegateが登場しました。 TensorFlow Liteに、GoogleのXNNPACK delegate登場。https://t.co/h6fJN3qOqAXNNPACKについては、こちらhttps://t.co/TcZr0oAGyx — Vengineer＠アマゾンプライムで映画三昧 (@Vengineer) 2020年2月5日 Google XNNPACK は、こちら。 github.com Google XNNPACKは、 …

… Google の XNNPack Exciting to see XNNPack open-sourced: https://t.co/fHKBsQ42Hf - it's a library of optimized floating point arithmetic operations to speed up deep learning calculations on Arm and x86.We're already using it in @TensorFlow L…