NVDLA Deep Learning Inference Compiler is Now Open Source

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

devblogs.nvidia.com

とうとう、というか、やっと。

今更ながら、NVIDIAのNVDLAのCompilerとRuntimeのソースコードがgithubで公開されました。
フレームワークは、Caffeのみ対応です。
ONNX対応してくれればいいのにね。
と思ったら、Roadmapには、対応するようなことが書いてあるね。https://t.co/Zj2WaaTch7

— Hatenaブログに移行したよ (@Vengineer) September 15, 2019

 今回公開されたソースコードは、UMD (User Mode Driver)部、ここに Caffe Parser/Compiler/Runtimeが含まれています。
Runtimeに関しては、ドキュメントも更新されています。

Caffeでサポートしているのは、以下のもののようです。

• Convolution
• Pooling
• InnerProduct
• ReLU
• Softmax
• SoftmaxWithLoss
• LRN
• Power
• Eltwise
• Concat
• Deconvolution
• Sigmoid
• TanH
• BatchNorm
• Scale
• Dropout
• Input
• Flatten

ソースコードは、ここで公開されています。

github.com

Source code for the NVDLA compiler

Guide to using the TensorRT INT8 calibration tool with NVDLA

Low Precision support in NVDLA

Pre-generated INT8 calibration table for ResNet-50

Find the complete NVDLA feature set here

Caffeのパーサーも公開されています。

エミュレータもありますね。

NVIDIAのNVDLAは、ソフトウェアとハードウェアの両方が公開されているので、推論エンジンの1つの例としては非常にいい勉強材料だよね。フレームワークからのモデルのパース、User Mode DriverによるモデルのCompileとRuntime、Kernel Mode Driverによるハードウェアへのアクセス方法まで学べるんだよね

— Hatenaブログに移行したよ (@Vengineer) September 15, 2019

関連記事

vengineer.hatenablog.com