AlibabaのFPGAアクセラレータと推論用AIチップ「AliNPU」

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

Ultra Low Latency and High Performance Deep Learning Processor with FPGA

Alibaba Cloud の Blog。

  入力は、Int4 
  出力は、Int32
　量子化は、Int16

対応フレームワークは、TensorFlow、Caffeeなどなど。
コンパイラにて、モデルグラフの解析と命令生成。
Driver(ソフトウェア)にて、CPU-FPGA DMA、reshape、重み圧縮などなど。
ISA Controllerにて、命令デコード、タスクスケジューリング、マルチスレッドパイプライン管理。

このアクセラレータを FPGA(PCIe and DDR4メモリ)カードに実装。

処理性能は、Resnet18にて、バッチサイズ = 1で、Latencyが 0.174ms 。
GPUでは、バッチサイズ = 1で、Latencyが 1.3 ms 。

10倍高速ですね。。。

データセンター間の量子通信、サーバー液浸冷却、AIチップ--Alibaba Cloudが自社開発技術を披露によると、

引用
昨年のThe Computing Conference 2017でジャック・マー会長は、同社の研究機関「達磨院（DAMOアカデミー）」における先端技術の基礎研究に今後3年で1.5兆円規模の投資を行い、AIや量子コンピューティング、ブロックチェーンなどの開発を推進すると述べていた。今回のイベントでは、AIチップと量子コンピューティングの具体的な開発ロードマップが示された。

途中略

DAMOアカデミーでニューラルネットワークの推論に特化したAIチップ「AliNPU」を独自開発し、2019年後半にAlibaba Cloudのデータセンターで稼働させることを発表した。

アリババがAIチップ開発で新会社設立、名前は「蜜穴熊」

いやー、Albaba、強烈だわ