JetPack 3.1 & TensorRT 2.1

Vengineerの戯言 : Twitter、Slideshare
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

JetPack 3.1 Doubles Jetson’s Low-Latency Inference Performance

最近ご無沙汰なGPU.

Jetson TK1とTX1は、お仕事用にあるのですが。。。ね。

JetPack 3.1になり、TensorRT 1.0に対して、TensorRT 2.1では、バッチサイズ1の推論速度が約2倍に。。。
TensorRTでは、TensorRT 3になっていますが。。。

8-bit Inference with TensorRT
ドキュメント (2.1)

それから、カスタムレイヤーに対して、plugin API (C++)が用意されているようで。。

引用
#include "NvInfer.h"

using namespace nvinfer1;
class MyPlugin : IPlugin
{
public:
   int getNbOutputs() const;
   Dims getOutputDimensions(int index, const Dims* inputs, 
                            int nbInputDims);
   void configure(const Dims* inputDims, int nbInputs, 
                  const Dims* outputDims, int nbOutputs, 
                  int maxBatchSize);
   int initialize();
   void terminate();
   size_t getWorkspaceSize(int maxBatchSize) const;
   int enqueue(int batchSize, const void* inputs, 
               void** outputs, void* workspace, 
               cudaStream_t stream);
   size_t getSerializationSize();
   void serialize(void* buffer);
protected:
   virtual ~MyPlugin() {}
};

plugin APIのドキュメント、ここん、Win速いわけではないのね。んといっても、ラズパイのソフトウェアエコシステムは莫大だからね。