@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった
Qualcomm が AI Model Efficiency Toolkit がオープンソースとしてリリースされました
github にありまっす。
サポート機能は、以下の3つ。
- Quantization
Cross-Layer Equalization: Equalize weight tensors to reduce amplitude variation across channels
Bias Correction: Corrects shift in layer outputs introduced due to quantization
Quantization Simulation: Simulate on-target quantized inference accuracy
Fine-tuning: Use quantization simulation to train the model further to improve accuracy
- Model Compression
Spatial SVD: Tensor decomposition technique to split a large layer into two smaller ones
Channel Pruning: Removes redundant input channels from a layer and reconstructs layer weights
Per-layer compression-ratio selection: Automatically selects how much to compress each layer in the model
- Visualization
Weight ranges: Inspect visually if a model is a candidate for applying the Cross Layer Equalization technique. And the effect after applying the technique
Per-layer compression sensitivity: Visually get feedback about the sensitivity of any given layer in the model to compression
チュートリアルビデオもありますよお。
CPU、GPU (Cuda) で利用できるようです。
こちらのブログが、AIMET の中でやっている内容の説明ですかね。
論文は、これっぽい。
