Glow、その1

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

PyTorch 1.0にもちょこっと書いた Glow 。

論文も出ているよ：Glow: Graph Lowering Compiler Techniques for Neural Networks

  Glow is a machine learning compiler and execution engine for various hardware targets. 
  It is designed to be used as a backend for high-level machine learning frameworks. 
  The compiler is designed to allow state of the art compiler optimizations 
  and code generation of neural network graphs. 

  This library is experimental and in active development.

    High-Level Graph => Low-Level IR => Machine Code

これって、TensorFlow XLA の TensorFlow GraphDef => TensorFlow XLA (HLO => LLO) と同じ感じですね。。。

バックエンドは、TensorFlow XLAのLLVMと同じです。LLVMのバージョンは、5.0です。

IRの説明：Design of the Glow Intermediate Representation

Backend：Backend-Specific Functionality、これによると、Interpreter、OpenCL、CPUをサポート。

AOT：Design of the Glow Intermediate Representation

JIT：Design of the CPU Backend JIT

最適化：Glow optimization passes、グラフの最適化とIRの最適化 (学習＆推論時の性能およびメモリ使用量)

LeNet MNIST Example

Building the compiler

量子化：Quantization in Glow、32ビッチ浮動小数点を8ビット整数に量子化