はじめに
Quadricという会社がGPNPU (General Purpose Neural Processing Unit) というコンセプトのものをプロダクトとして出しています。
今回は、QuadricのGPNPUを覗いて、妄想したいと思います。
Let's 妄想
Quadric
NPU + DSP + Realtime CPU => GPNPU という形にしたもの。。これを Chimera と呼んでいます。。。
2017年 Founded
なので、AIブームの時には創業。。。Closed Series B - February 2022 ($21M)
上記の記事に、「Vortex」コア、とあるんですが。。。
CHIMERA GPNPU FAMILY
あんまり書いていません。
SDK
下図は上記の頁から説明のために引用します。
入力は、
- TensorFlow
- Caffe
- PYTORCH
- torch
ですが、内部は、TVM / Relay のようです。TVM / Relay からの Graph を独自の Chimera Graph Compiler (CGC) にて、C++Code を生成し、Chimera LLVM C++ Compiler にて、実機と Chimera ISS で動かす。。
ここに、
- Cycle approximate / SystemC
とあります。となると、github にある？
github
ありました。SystemC、ただし、4年前のものです。
いっぱいコミットしている Nigel Drego さん、LinkedInによると、
- 2016.6 - 現在 Co-Founder & CTO
のようです。
資料
TechInsightsに買収されたLinleyのLinley Fall Processor Conference 2022 の資料がありました。
https://www.techinsights.com/sites/default/files/2022-11/FPC-Day-1-Session-Slides-Track-A-AM_0.pdf
54頁から
- Chimera SDK : 2022.11末 (Evals Start / Beta)
Hardware (RTL), Production ready : Q1.2023
Publicly Annaunced ; Todat - Nov 1st, 2022
M.2 Board
下図は、上記の資料から説明のために引用します。
- M.2 2280 M Key : PCIe Gen4 x 2でDRAM(4GB LPDDR4)も載っていますね。。
- 1st Generation QA processor
- TSMC 16 FFC
- QA4 Config (4 TOPS), 1GHz
- Architecture Proof of Concept (demonstration system)
このボードに載っているのは、Q16で、4TOP(INT8)、2W
現在のProduct line
下図は、Quadric の Products の頁から説明のために引用します。
- QB1 : 1 TOPS
- QB4 : 4 TOPS
- QB16 : 16 TOPS
これ、CB1 => CB4 で4倍、CB4 => CB16 で 4倍になっていますが、実際の die はどうなんでしょうね。
あたしの妄想では、die は同じだと思います。
LLM にも対応
- Quadric’s Chimera QB4 4 TOPs GPNPU running Llama2 15M delivers 225 Token/Sec/Watt efficiency in a 5nm technology, while occupying only 2.5 mm2.
おわりに
SystemC 2.3.1 までは、どうやら
がメインにメンテナンスしていたようです。当時
- SystemC Working Group member, Language Working Group chair
だったようです。
職としては、
で現在は、AppleでSystem-Level Methodology Architect
