AMD Alveo V70

はじめに

AMD Alveo V70、AI Engine専用器として登場しました。

japan.xilinx.com

下図は上記のサイトに掲載されている Alveo V70 Cardの写真です。説明のために引用します。ネットワークのインターフェースは付いていないようです。

仕様

• アプリケーション : AI 推論
• アーキテクチャ : AMD XDNA – Versal AI コア
• AI エンジン : ２世代目 AIE-ML タイル
• TOPS* (INT8) : 404

とあり、TOP (INT8) が 404 ということなので、Versal AI Edge の VE2802を搭載しているんじゃないでしょうかね。

Alveo V70搭載サーバー

このツイートによると、Alveo V70をたくさん搭載できるサーバーがあるようです。

$80K of Alveo V70 at 2.7KW could inference GPT-3, 28 times/s
(33x the efficiency of MI250x)

Based on GPT-3 175B with 2,048 inputs requiring 358 tlops and 2.1PB/s for a single inference.

Properly utilizing the 9MB of 47TB/s URAM and model parallelism over PCIE-P2P with 36 cards pic.twitter.com/5c0gF94Fl7

— AMDGPU (@AMDGPU_) 2023年6月26日

car.watch.impress.co.jp

にも載っていました。説明のために引用します。

Vitis-AI 3.5 では、Alveo V70をサポートしているようです。

おわりに

Alveo V70 は、AI EngineをPython経由で使うというものですのようです。。。AI Engineを駆使して何かを作るためのようなものではないようです。

つまり、AI推論用カードになるので、サーバーにいっぱい積めるようになっているようですね。