推論時に使用メモリを減らす

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

Twitterに流れてきた ONNC が Medium にアップした記事。

Liveness Analysis Helps Save Gigabytes of Memory Usage for AI Inference

下記の図はこの記事からの引用ですが、
VGG16の推論時のメモリ使用量が991MBということは、Raspberry Pi 2/3/3+ の 1GB じゃ、ダメってことね。

モデルがパイプラインになっているので、前段のレイヤが終了したら、
そのレイヤで使っていた Variable や Parameter はもう使わないので、
その Variable や Parameter で使っていたメモリを再利用すれば、使用するメモリを少なくすることできます。

これって、ディープ・ラーニング だけじゃ、ないんですよね。。。笑

で、この記事を書いている ONNC は、このブログでも4月20日に書いた、Skymizer が開発している推論エンジン用コンパイラです。