NVDLA Deep Learning Inference Compiler is Now Open Source

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

devblogs.nvidia.com

とうとう、というか、やっと。

今更ながら、NVIDIAのNVDLAのCompilerとRuntimeのソースコードがgithubで公開されました。
フレームワークは、Caffeのみ対応です。
ONNX対応してくれればいいのにね。
と思ったら、Roadmapには、対応するようなことが書いてあるね。https://t.co/Zj2WaaTch7
— Hatenaブログに移行したよ (@Vengineer) September 15, 2019

今回公開されたソースコードは、UMD (User Mode Driver)部、ここに Caffe Parser/Compiler/Runtimeが含まれています。
Runtimeに関しては、ドキュメントも更新されています。

Caffeでサポートしているのは、以下のもののようです。

Convolution
Pooling
InnerProduct
ReLU
Softmax
SoftmaxWithLoss
LRN
Power
Eltwise
Concat
Deconvolution
Sigmoid
TanH
BatchNorm
Scale
Dropout
Input
Flatten

ソースコードは、ここで公開されています。

github.com

Source code for the NVDLA compiler

Guide to using the TensorRT INT8 calibration tool with NVDLA

Low Precision support in NVDLA

Pre-generated INT8 calibration table for ResNet-50

Find the complete NVDLA feature set here

Caffeのパーサーも公開されています。

エミュレータもありますね。

NVIDIAのNVDLAは、ソフトウェアとハードウェアの両方が公開されているので、推論エンジンの1つの例としては非常にいい勉強材料だよね。フレームワークからのモデルのパース、User Mode DriverによるモデルのCompileとRuntime、Kernel Mode Driverによるハードウェアへのアクセス方法まで学べるんだよね
— Hatenaブログに移行したよ (@Vengineer) September 15, 2019

vengineer.hatenablog.com