NVIDIAのディープラーニング推論って

Vengineerの戯言 : Twitter、Slideshare
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

DEEP LEARNING INFERENCE PLATFORM

こんなPDFもあります。

その時の道具は、TensorRTですね。

　TensorRTの特徴

　・Layer and Tensor Fusion
　・Kernel Auto-Tuning
　・Weight and Activation Precision Calibration
　・Multi-Stream Execution
　・Dynamic Tensor Memory

Chainer Meetup #06での発表の時に、N社のNさんが言っていましたよ。TensorRT。。

学習側は、オープンソースのフレームワークでPythonコードでモデル書いてやるけど、

推論側は、TensorRTのようなツールを使って、各ハードウェアに対応したチューニングをするんですよね。

ここんところは、公開されていないのがポイント。。。なんですよ。。。わかりますか？