TensorFlow Lite 2019 Roadmap：Updated: August 29, 2019

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

TensorFlow liteのロードマップが更新された。
気になるのいっぱいある。
・New MLIR-based TensorFlow Lite convertor 
・Support for training on-device,
・Microcontroller Support

Vulkanのサポート、新しい量子化学習も気になる。https://t.co/b03JMBen3A

— nb.o (@Nextremer_nb_o) August 30, 2019

で知ったので、読んでみた。

New model converter

• New MLIR-based TensorFlow Lite convertor that better handles graph conversion (e.g., control flow, conditionals, etc...)
• Improved diagnostics and debugging of model conversion failures

 は、このコードのことかな？

github.com

Pre-and-post processing support

• New support library for model-specific pre-and-post processing
• Utilities for common platform-specific functionality, e.g., loading a model efficiently from assets, or converting a Bitmap to a tensor

 は、地味に重要。

とうとうきたか？

Control Flow & Training on-device

• Support for control flow related ops
• Support for training on-device, focused on personalization and transfer learning

Graph visualization tooling

• Provide enhanced graph visualization tooling

TensorBoard のことかな？4か月変わっていないが。。。

github.com

GPU backend optimizations

• OpenCL and Vulkan support on Android
• Metal and Objective-C CocoaPods for Metal acceleration

既に、OpenCL版が出ていますね。。。こちら。

github.com

Hexagon DSP backend

• Initial release of DSP acceleration for pre-Android P devices

Hexagon DSPもサポートするんだ。。でも、pre-Android P (Android 9) devices の意味するところは？ Android Qはどうなんだ。。。

Snapdragonには、Hexagon DSPが入っているが、どのコアまでサポートするのかな？

HVX V60/V65 どちらかな？

最適化も

Quantization

• Post training quantization for hybrid kernels -- Launched{:.external}
• Post training quantization for (8b) fixed-point kernels -- Launched{:.external}
• Training with quantization for (8b) fixed-point kernels
• Extend post and during training APIs to (8b) fixed-point RNNs
• Training with quantization for low bit-width (< 8b) fixed-point kernels

量子化して学習もできるようになるんですね。

それから、8ビット以下での量子化もできるようになるって、どんなハードウェアが対象なのでしょうか？

Pruning / sparsity

• Magnitude based weight pruning during training -- Launched{:.external}
• Support for sparse model execution

Sparse Modelも利用可能に。。。。

もう、本当に、一般ユーザーは、TensorFlow Liteでいいよ。。。

Kerasでモデル書いて、学習して、量子化して、TensorFLow Liteにして。。。

Microcontroller Support

• Add support for a range of 32-bit MCU architecture use cases for Speech and Image Classification
• Sample code and models for vision and audio data
• Full TF Lite op support on microcontrollers
• Support for more platforms, including CircuitPython support

MicrocontrollerですべてのTensorFlow LiteのOpがサポートされるって？かなり先になりそう。