Vengineerの妄想(準備期間)

人生は短いけど、長いです。人生を楽しみましょう!

AMD Ryzen AI (AMD XDNA)は、Windows 11のみで使用でき、ONNX Runtime としてしか利用できない?

はじめに

AMD Ryzen AI 対応のCPUが出てきたら、どんな感じに使えばいいのかを知りたくて、なんとなく、AMDgithub を覗いてみたら、アップされていた

ONNX Runtime として実装されているっぽい

上記のgithub のページの最後に、

Run your own models with ONNXRuntime on Ryzen AI

とあり、ONNXRuntime Vitis-AI EP に飛ぶ

Vitis AI Execution Provider

ONNX では、backend を Execution Provider として実装することになっている。Ryzen AI では、Vitis AI Execution Provider を使うことになるという。

利用できる環境は、下記の通り。Ryzen AI は、Windowsのみっぽい。

Ryzen AI ONNX Runtime Package をダウンロードして使うようです。解凍すると、下記のようなファイルができます。1x4.clbin がIPU Execution Provider execution fileということのようです。

このIPUは、AMD IPU driver のようで、>= 10.105.5.38 が必要のようです。1x4.clbin を ONNX の onnxruntime\bin にコピーして使うようです。

に、onnxruntime_vitisai_ep_stub.cc があります。上記のパッケージをインストールしないと、この stub ファイルが呼ばれるっぽいです。

この関数は、vitisai_execution_provider.cc のここで呼び出されています。

追記)、2023.11.13

voe-3.5 になり、5x4.xclbin が追加されていました。通常は、1x4.xclbin を使って、大きなモデルを使うときは 5x4.xclbin を使うようです。

おわりに

Ryzen AIにて、自分でプログラムするのって出来たら嬉しいな?と思っていましたが、現状では、残念ながら、ONNX Runtime としか使えないようです。

追記)、2023.06.16

pc.watch.impress.co.jp