Vengineerの妄想

人生を妄想しています。

TensorFlow Lite (GPU, Google Edge TPU)関連いろいろ

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

8月の上旬からお盆までに見つけた TensorFlow Lite (GPU, Google Edge TPU)に関するものを集めてみました。

インターンでも Edge TPU を利用しているんですね。

tech-blog.optim.co.jp

 

Yoshikawaさん作

 

 これ凄いですよね。Edge TPUにあわせて、モデルのチューニングもしているんですよね。

blog.hackster.io

Google AI のブログでも紹介。

ai.googleblog.com

 

このリリースで、Post-training quant もサポートされました。

また、TF Lite delegate も追加されました。

developers.googleblog.com

 

Google Japanのイベントでのビデオが公開されました。

D1-4-S11: Edge TPU でインテリジェントな IoT サービスの実現

www.youtube.com

 

LSTM Object DetectionのTensorFlow Liteモデルで、Edge TPU でもサポート

github.com

config_setting(
name = "enable_edgetpu",
define_values = {"enable_edgetpu": "true"},
visibility = ["//visibility:public"],
)

cc_library(
name = "mobile_ssd_tflite_client",
srcs = ["mobile_ssd_tflite_client.cc"],
hdrs = ["mobile_ssd_tflite_client.h"],
defines = select({
"//conditions:default": ,
"enable_edgetpu": ["ENABLE_EDGETPU"],
}),
deps = [
":mobile_ssd_client",

 

"@com_google_glog//:glog",

"@com_google_absl//absl/memory",
"@org_tensorflow//tensorflow/lite:arena_planner",
"@org_tensorflow//tensorflow/lite:framework",
"@org_tensorflow//tensorflow/lite/delegates/nnapi:nnapi_delegate",
"@org_tensorflow//tensorflow/lite/kernels:builtin_ops",
"//protos:anchor_generation_options_cc_proto",
"//utils:file_utils",
"//utils:ssd_utils",
] + select({
"//conditions:default": ,
"enable_edgetpu": ["@libedgetpu//libedgetpu:header"],
}),
alwayslink = 1,
)

 

TensorFlow 1.14のARM 32 ARM 64 x86-64の Python 3.5 と 3.7 のパッケージがあります。

x86-64 だけは、3.6 のパッケージもあります。

www.tensorflow.org

 

 

TensorFlow Lite の「Post Training quantization」をするためのパラメータの設定。

converter.optimizations に、[tf.lite.Optimize.OPTIMIZE_FOR_SIZE] を設定する。

 

「Post-training quantization」の方針がいろいろ書いてある。

 

vFlat というアプリが TensorFlow Lite にて、GPU を利用していると。

 

え、Google Edge TPU Compiler ってオープンソースになるの？

 

 OpenGL ES v3.1版ではない、GPU Delegateも登場！