TensorRT 4

engineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

NVIDIAさん、CVPR 2018にて、TensorRT 4をアナウンス。。。。

TensorRT 4 Accelerates Neural Machine Translation, Recommenders, and Speech

TensorRT 4では、

引用
　・45x higher throughput vs. CPU with new layers for Multilayer Perceptrons (MLP) 
　　　　　　　　　　　　　　　　　　　　　　　　　and Recurrent Neural Networks (RNN)
　・50x faster inference performance on V100 vs. CPU-only for ONNX models imported with ONNX parser 
                                                                                   in TensorRT
　・Support for NVIDIA DRIVE™ Xavier - AI Computer for Autonomous Vehicles
　・3x inference speedup for FP16 custom layers with APIs for running on Volta Tensor Cores

CPUに対して、45x とか、50x とかになっていますね。

Xavier もサポートしているって。。。

VoltaのTensor Coresを使って、FP16にすると、推論が3倍にって。。。

やっぱ、中を知っていると、凄いよね。。。。そりゃー、そうだろうに。。。

TensorRT の中を教えて、って、とある勉強会で聞いたら、ダメだって。そりゃー、そうだろう。。に。