MicrosoftのOlive Quantizer

はじめに

MicrosoftのOlive Quantizer

github は、ここにあります。

accelerator もあった

olive/hardware に、accelerator.py なるものがありました。

この中で、

class AcceleratorLookup:
    EXECUTION_PROVIDERS: ClassVar[dict] = {
        "cpu": ["CPUExecutionProvider", "OpenVINOExecutionProvider"],
        "gpu": [
            "DmlExecutionProvider",
            "CUDAExecutionProvider",
            "ROCMExecutionProvider",
            "TensorrtExecutionProvider",
            "CPUExecutionProvider",
            "OpenVINOExecutionProvider",
        ],
        "npu": ["QNNExecutionProvider", "CPUExecutionProvider"],
    }

という記述があって、

• CPU
• OpenVINO
• DML
• CUDA
• ROME
• TensorRT
• QNN

がありますね。

AMD Ryzen AI のこのドキュメントのQuantizationには、

Ryzen AI Software Platform supports a few other quantization tools that can be used in specific situations, for example, Vitis AI PyTorch/Tensorflow quantizer, Olive Quantizer, etc. For more details about quantization refer to the Model Quantization page.

とあるんですが、

• CPU
• ROME

のどちらなんでしょうかね。。。

おわりに

Ryzen AI は、

基本的には、Windows 上のみを考えているので、Microsoft の ONNXRuntime ベースなんですよね。。。