Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう!

TensorFlow Lite の GPU Delegate になんか追加されました

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそすべては、SystemC v0.9公開から始まった 

いつものように、TensorFlowのgithubを眺めていたら、見つけました。

TensorFlow Lite の GPU Delegate に対して、GPU内部の中間表現に置き換えちゃうAPIが増えたようです。

github.com

下記にあるように、InferenceBuilder ではなく、NewInferenceBuilder を呼ぶことでこの機能が使えるようです。

// Converts GraphFloat32 into intermediate, device-specific representation.
// This serialized_model specific for device and InferenceOptions.
// serialized_model cannot be used with another device or InferenceOptions.
// Loading serialized_model is much faster than loading GraphFloat32.
// serialized_model must be used with appropriate NewInferenceBuilder
// method (see below).

 NewInferenceBuilderを呼ぶ前に、BuildSerializedModelにて32ビットモデルを内部表現に変換する必要があるようです。