Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう!

TURINGのLLM ASIC開発用に巨大FPGAボードを購入したと

はじめに

昨日、Xの投稿に、TURINGのYamaguchiさんが下記のような投稿がありました。説明のために引用します。

振り返り

TURINGがLLM ASICを開発するということは、昨年末にCEOの山本さんがXに投稿して、その後、Xのスペースでお話されていました。その時のブログが下記のものです。

vengineer.hatenablog.com

この時のLLM ASIC開発のスケジュールは、下記の通りになっていました。

  • 現在はシミュレータにて機能検証
  • 2024年の終わりには、FPGA検証。ただし、性能は 1/100 - 1/1000
  • 2025年 : Test chip (シャトルを利用前提)
  • 2026年から 実製品 (SoC, アクセラレータ, Chipletの選択があるが、SoCは考えていない)
  • 2028年 : 動いている
  • 2030年 : 量産

今年(2024年)の終わりには、FPGA検証が終わっていることに。

Turing Semiconductor/AI Day 2024

2024/3/13(水)に開催された Turing Semiconductor/AI Day 2024 の 「生成AIをエッジで実現するアクセラレータ開発」のセッションが下記のYoutubeです。説明のために引用します

youtu.be

この中で下記のスライドがありました。説明のために引用します

  • FPGA開発
  • テストチップ開発
  • 量産チップ開発
  • 完全自動運転車に搭載

上記のスペースでのお話と同じステップです。

下記は既にトライしている「生成AI on FPGA」のスライドです(説明のために引用します)。

  • Xilinx(AMD) VCU108 に、Tiny-LIama 1.1Bモデル
  • Xilinx(AMD) VPK180 に、LIama2-70B, MoE

ということで、今回のFPGAボードが納品されたことになります。

半導体開発のロードマップ(説明のために引用します)。ここにもFPGA評価ボードが載っていますね。

投稿が無くなるともったいないので、画像も引用します。左側のボードには電源が入っていますね。

よーむ見ると、右上に、AMD VERSAL という文字があります。右下にはZYNQが載っているので、たぶん、Xilinx(AMD)のボードだと思うのですがね。。。

どうやら、Versal プレミアムシリーズ VPK 180評価キットのようです。

japan.xilinx.com

下記は上記のサイトにある画像です。説明のために引用します。

ビンゴ。お値段 $17,995 なので、ざっくり 300万円ぐらいですね。H100よりお安いですね。

搭載FPGAは、VP1802 です。この上に、VP1902 がありますが、評価ボードは無いので、一番大きなFPGAになりそうです。

3個の Logic die + 1個の base die の構成なのね。

開発には64GBメモリが必要っぽいです。

おわりに

超デカいFPGAですが、4bit LLM ならうまく実装できるのでしょうか?

ということで、FPGA職人の登場です。。。結果が楽しみです。