… the IRON AI Engine API to program the Ryzen AI NPU AMD (Xilinx) の AI Engine に関して、このブログでかいたもの vengineer.hatenablog.com IRON 下記の図は、上記の資料から説明のために引用します。 ツール ツールとして、「MLIR-based AI Engine toolchain] ここの README.md の中にツールのインストール等が書かれています。 Ryzen AI…

…で、Xilinxの AI Engine を AMD XDNA として NPUとしてリリースしています。 vengineer.hatenablog.com その後、Ryzen 8040シリーズにて、NPUの性能をちょこっと上げています。 vengineer.hatenablog.com AMD XDNA 2 AMD のサイトで、XDNA 2 にアクセスすると、下記のYoutubeに飛びます。 www.youtube.com XDNAに比べて、性能が大幅に向上されるということのよ…

…Gen 2 なのは、AI Enginer が 第二世代になったからなのでしょうか？ Versal AI Edge Series Gen 2 下図は、サイトからのものです。説明のために引用します。 Arm Cortex-A78 x 8 Arm Cortex-R52 10 も入っています。Versal AI Edge では、下図のようになっています。説明のために引用します。 Cortex A72 x 2 Cortex R5F x 2 なので、爆増ですね。 並べてみました。 こうし…

… に Xilinx AI Engineが入る？ (2023.01.14) AMD MI300 (2023.01.15) 2月 AMD’s Ryzen 7000X3D って半分だけV-Cache搭載なの？ (2023.02.09) AMDのUIFって、何？ (2023.02.12) AMDのGPUって、USB Type-C Portが出ているのね (2023.02.21) AMDが成長したわけって？ (2023.02.22) 3月 AMD Unified Inference (…

はじめに いつものように、Xilinx (AMD) の github を散歩していたら、mlir-aie の中に、 AIE Flows and Routing なるものを見つけました。 AIE Flows and Routing github.com MLIR の Dialect として、 AIE Tile Routing %t71 = AIE.tile(7, 1) // (Column, Row) %t72 = AIE.tile(7, 2) %t73 = AIE.tile(…

…A (Xilinx AI Engine) 。その Linux の driver が github に公開されました。 github.com 今回は、github の中をさっくり、覗いてみます。 どんな構成 Introduction に下記のような記載があります。 This repository is for supporting XRT on AMD XDNA devices. From this repository, you can build a XRT plugin …

…Elite は、Apple M2より速い。 pc.watch.impress.co.jp pc.watch.impress.co.jp Snapdragon X Elite Spec Oryon CPU (買収した Nuviaベース？) 12 Cores, Max 3.8GHz 1 - 2 コアが最大 4.3 GHz Boost 45 TOPS AI Engine Sensing Hub (Micro NPU, DSP, Memory, Always-Sensing ISP)

…esign for AI Engines ISFPGA 2023 Workshop - Leveraging MLIR to Design for AI Engines 基本的には同じ。 MLIR 上記のスライドの中に次のようなページがありました。説明のために引用します。 ページのタイトルが「Future Heterogeneous Programming 」とあります。 CPU GPU AIE (AI Engine) PL (Programming Logic) への実装に…

…yzen AI の AI Engine は 1GHzで動いている Ryzen AI の DMA & NoCs とは？ Ryzen 8040シリーズの発表に合わせて、Ryzen AI SW も 0.9 => 1.0 になったようです。 上記のブログに書いた情報が既に削除されてしまっているものもあります。 tutorial tutorial が更新されました。 hello_world の追加 vaip_config.json vaip_config.json の中に、xcompi…

はじめに AMD Ryzen 8000シリーズの発表がありました。 www.youtube.com AMD Ryzen 8040 ここから下記の図を説明のために引用します。 8040 って、あれ、7040 と何が違うの？ Phenix (7040) : Q2.2023 shipping Hawk Point (8040) : Q1.2024 shipping Strix Point Phenix の NPU は、10 TOPsで、Hawk Point の NPU は、16 T…

…AMD のサイトで AI Engine Runtime なるものが公開されているのを知りました。 github.com AIE Driver(driver) AIE Driver is a userspace library that provides hardware access to applications. AIE FAL(fal) AIE FAL is functional abstraction layer that provides common usersp…

…30 とかあるので、AI Engine が処理に使用する入力ポートや出力ポートに対応するのもだと思います。 この中で、 'shim_column' というのがあります。この GMIO は、shim という部分にあるようです。 PLIO 下記のように、4個のPLIOがあります。 "PLIOs": { "plio0": { "id": 0, "name": "aie_graph.token_out_[0]", "logical_name": "TCT0", "shim_colum…

…なものがありました。'AIEFrequency': 1000 とあります。 "DeviceData": { "AIEBaseAddress": "0x20000000000", "AIEFrequency": 1000 }, Versal の AIE-ML の動作周波数も 1GHz のようなので、同じ周波数で動いていることになっていますね。 おわりに Ryze AIの動作周波数は、FPGA(Versal)のAI Engine (ML)と同じ動作周波数であることがわかりました。

…NA XDNA が AI Engine側 IPU driver Ryzen AI は、IPU device(PCIデバイス、デバイスID=0x1502) として実装されているようです。 そして、IPU driver 経由 で Ryze AI が使える。>= 10.105.5.42 で使えるっぽい。 ソフトウェア (ryzen-ai-sw-0.9.zip) を展開する。ソフトウェアはユーザー登録しないとダウンロードはできない。 実体は下記にあるっぽい。 set XLNX_VAR…

…Versal) の AI Engine が使えるっぽいです。 詳細は、ここ にUbuntu で使えるということが書いてあります。 また、Windows の WSL Ubuntu でも使えるようです。 Windows + Ryzen AI の使い方 このドキュメントによると、 MLIR-AIE tools: WSL Ubuntu 22.04 にあるように、Windows の WSL Ubuntu 22.04 で MLIR-AIE をビルドします。 また、Microsoft Vi…

…ntime lib AI Engineの runtimeのライブラリに、 AIE AIE2 があります。各ディレクトリの下に、asesim/genwrapper_fo_ps.cpp というファイルがあります。 このファイルは、SystemCモデルです。IPBlockクラスを継承して、PSIP_ps_i3クラスを定義しています。 C言語からのアクセス extern "C" { void ess_Write32(uint64 Addr, uint Data) { (PSIP_ps…

…Alveo V70、AI Engine専用器として登場しました。 japan.xilinx.com 下図は上記のサイトに掲載されている Alveo V70 Cardの写真です。説明のために引用します。ネットワークのインターフェースは付いていないようです。 仕様 アプリケーション : AI 推論 アーキテクチャ : AMD XDNA – Versal AI コア AI エンジン : ２世代目 AIE-ML タイル TOPS* (INT8) : 404 とあり、TOP (INT8…

…エッジ シリーズの AI Engine-MLの方だと思います。 5月29日のブログにも書きましたが、Windowsのみ利用可能で、ONNX、TensorFlow、PyTorch から利用可能になるようです。 CPUローンチ時は早期開発者アクセス向けにXDNAの一部機能へアクセスできる「Unified AI Stack」を提供。2023年第4四半期に、OEMや一般開発者、ISVベンダーにXDNAのすべての機能が利用できるよう解放するとしている。なお、対応モデルはONNX、Ten…

…e GPU cores and AI engines. とあって、 3-2 fin は、ultra high-performance CPU cores 2-2 fin は、efficient performance applications 2-1 fin は、the ultra-power efficient, ultra-dense GPU cores and AI engines を想定しているっぽいです。 関連ブログ vengineer.hatenablog.com

…en 1 Snapdragon 8cx Gen 2 Snapdragon 8cx Gen 3 Snapdragon 7c+ Gen 3 の Windows マシンじゃないと使えないようだが。結構お高いんだよね。SnapdraonのWindowsノートPCって。 おわりに Mac Mx機、Intel 第13世代CoreではMobileyeのVPUをM.2で接続、AMD Ryzen 7040シリーズで AI Engine搭載と。。 スマホだけでなく、ノートPCでも普通になるのね。

…に公開されました。 github.com oneAPI から使えるようになる？ oneAPI の Level Zero I/F として使えるようになっているっぽいので、デバイスが出る頃には使えるようになるんでしょうね。 おわりに Intelは今年の後半に、Intel VPU を投入 AMDもRyzen 7040にて、XilinxのAI Engineを投入 AppleのMxシリーズに遅れること約3年。x86の世界でも NPU と呼ばれるハードウェアが搭載されるようになりますね。

…、Xilinx の AI Engine を投入した Ryzen 7040 を発表しました Ryzen 7040 Ryzen AI Engine www.youtube.com 下図は上記のビデオから説明のために引用します。 Ryzen AI : 4 Dedicated AI Streams 4つのストリーム処理ができるの？ March 2023 にPCに搭載されたものが出てくるようです。 おわりに AI Engine って、Versal AI Engine と同じようですが、…

…x 3 + DSP AI Engine CPUの構成は、G2と似ていますね。GPUはコア数はちょっと少ない感じです。 G1/G2のAndroid Kernelおよび各種デバイスドライバの調査 G1/G2のAndroid Kernelおよび各種デバイスドライバの調査から、 EdgeTPU AOC DSP (G2で追加) というものがあることが分かりました。 EdgeTPUは、ISPだけでなく、AOC(Audio関係、Input/Output) にも接続しています。G2では、DS…

…めに Xilinx AI Engine の シミュレータ (aiesimulator) を動かしてみた(その5)です。 今回は、 --dump-vcd オプション を指定して、波形ファイルをダンプしてみます --profile オプションを指定して、プロファイルを取ってみます --onlinw オプションを指定して、 波形ファイルのダンプ aiesimulator --pkg-dir=Work --input-dir=data --output-dir=data --dump…

…めに Xilinx AI Engine の シミュレータ (aiesimulator) を動かしてみた(その4)です。 シミュレーションの開始 下記のように、In file: sc_object_manager.cpp:156 というメッセージが出ているので、ここからは SystemC のシミュレーションが始まっています。 Warning: (W505) object already exists: tl.logicalNoC.PS_AIE_Config_Master.del…

…めに Xilinx AI Engine の シミュレータ (aiesimulator) を動かしてみた(その3)です。 aiesimulator のログの続き Initializing AIE driver... Initializing ADF API... この部分は、Work/ps/c_rts/aie_control.cpp の InitializeAIEControl クラスのコンストラクタ内で出力されています。 InitializeAIEControl() { pr…

…めに Xilinx AI Engine の シミュレータ (aiesimulator) を動かしてみた(その2)です。 aiesimulator コマンドの出力メッセージ aiesimulator コマンドを実行すると、まずはライセンスを見つけに行きます。 aiesimulator --pkg-dir=Work --input-dir=data --output-dir=data AIEsim feature license is found. ライセンスが見つからないと、こ…

… Xilinx の AI Engine について、調べ始めました。 今日は、AI Engine の シミュレータ (aiesimulator) を動かしてみたので、そこのところを色々と調べてみます。 Xilinx AI Engine の シミュレータ (aiesimulator) を動かしてみた(その1) です。 お題 お題は、下記の記事にあるコードを aiesimulator を --target=hw にて動かした時、何が何をしてやっているのか？を調べるということです。 …

… Versal & AI Engine について、お話しました。 Versal、お高い評価ボードVCK190 評価ボード(約12000ドル)、VMK180 評価キット(約8500ドル)、ちょっとお安いAI 推論向け VCK5000 Versal 開発カード(約12000ドル => 約2500ドルに値下げ)しかなくて、個人が簡単に入手するには、Versal AI Edge が出る来年(2022)年の後半、ということでまだまだ、アクションはできていないようです。 まー、Ultra…

…nx Versal AI Engine については、このブログにも2021年7月5日に書きました vengineer.hatenablog.com 今日は、そのAI Engine を SYCL (OpenCLをC++からラクチンに使えると言っているもの)にてプログラミングするというお話です。 SYCL とは？ SYCL に関しては、このブログでも何度か取り上げています。こんな感じに vengineer.hatenablog.com 下記のように、SYCLをサポートしているIn…