Vengineerの妄想(準備期間)

人生は短いけど、長いです。人生を楽しみましょう!

Rockchip RK3399ProのNPUの情報


Rockchip WikiにRK3399やRK3399Proの情報がアップされています。

RK3399Proには、NPUが付いていますが、これまで情報が出ていなかったと思います。

Rockchip RK3399Pro TRM Part1(838ページ)の「Chapter 29 Neural Process Unit (NPU)」836~838の3頁だけど。

NN Engine + VPU (Vector Processing Unit) + Power Management

  ホストインターフェース。
 ・32bit AHB  => レジスタインターフェースinterface used for configuration only support single
 ・128bit AXI => メモリからのデータフェッチ

 ニューラルネットワーク
 ・1920 INT8  MAD/sec
 ・ 192 INT16 MAD/sec
 ・  64 FP16  MAD/sec
 ・推論用:TensorFlow backend, OpenCl, OpenVX, Android NN backend

 ・INT8, INT16, FP16 の Convをサポート
 ・Convolution size NXN , N <=11*stride, stride <= min(input width, input height)
 ・Liner, MIMO, Fully Connected, Fully Convolution
 ・Support network sparse coefficient decompression
 ・Support Max, average pooling (2x2, 3x3, stride <= min(input width, input height))
 ・Local average pooling size <= 11x11
 ・Support unpooling
 ・Support batch normalize, l2 normalize, l2 normalize scale, local response normalize
 ・Support permute, reshape, concat, depth to space, space to depth, flatten, reorg, squeeze and split
 ・Support region proposal
 ・Support priorbox layer
 ・Support Non-max Suppression
 ・Support ROI pooling
 ・Support dilate convolution, N <=11*stride, stride <= min(input width, input height), dilation <1024
 ・Support de-convolution, N <=11*stride, stride <= min(input width, input height)
 ・Support Elementwise addition, div, floor, max, mul, scale, sub
 ・Support elu, leaky_relu, prelu, relu, relu1, relu6, sigmod, softmax, tanh
 ・Support LSTM, RNN
 ・Support channel shuffle
 ・Support dequantize, dropout.

下の方にある「RK1808(Arm Cortex-A35x2)」もNPUが載っていますよ。機能的には、同じものみたい。