Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう!

量子化の論文

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそすべては、SystemC v0.9公開から始まった

先週ちょっと調べものをしていたら見つけたこの論文というか White Paper

arxiv.org

著者は、Raghuraman Krishnamoorthi さんで、Qualcomm => Google => Facebook のようです。この論文は、Google の時に書いたものです。

アブストラクトに

We benchmark latencies of quantized networks on CPUs and DSPs and observe a speedup of 2x-3x for quantized implementations compared to floating point on CPUs. Speedups of up to 10x are observed on specialized processors with fixed point SIMD capabilities, like the Qualcomm QDSPs with HVX.

と書いてありますね。Qualcomm では、Hexagon でやっていたんでしょうね。

この論文では、2つの量子化についての記述があります。

  • Post Training Quantization
  • Quantization Aware Training

これについては、以下のように TensorFlow Lite の Model optimization について説明があります。

www.tensorflow.org