Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう!

MLPerf v0.5のInference版

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそすべては、SystemC v0.9公開から始まった

宣言通り、11月になりましたので、MLPerf v0.5 の Inference 版が公開されましたね。

www.mlperf.org

MLPerf Inference BenchmarkなるPaperもアップされています。

このPaperによると、

  • ARM NN (CPU, GPU
  • FURIOSA-AI (FPGA)
  • HAILO SDK (ASIC)
  • HANGUANG-AI (ASIC)
  • ONNX (CPU)
  • OPENVINO (CPU)
  • PYTORCH (CPU)
  • SNPE (DSP)
  • SYNAPSE (CPU)
  • TensorFlow (ASIC, CPU, GPU)
  • TensorFlow Lite (CPU)
  • TensorRT (GPU)

での結果がありました。

Furiosaって何?

結果の Inf-0.5-36 と Inf-0.5-37 に、FuriosaAI/furiosa-single-fpga, furiosa-multi-fpga というのがあって、 furiosa-single-fpgaではホストはIntel(R) Core(TM) i3-7100、furiosa-multi-fpga ではホストはIntel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHzで、アクセラレータ名はRenegade、SoftwareはFuriosaRuntime/TensorflowLite とあります。

TensorFlow Liteなんですね。

Furiosaって、LinkedInによると韓国の会社なんですか?

 

そんでもって、32x Cloud TPU v3 の  ImageNet ( ResNet-50 v1.5 ) の Offline で、1,038,510.00 というのがあるんですが、これって、こんなに処理する必要あるのかな?ただの、凄いだろ?って感じ。。。