はじめに

Google TPU v6 の振り返りをしていたら、なんか面白いものを見つけましたので、記録に残します。

Let's 妄想

Sifive X280 + MXU

下記のSiFiveのブログにて

www.sifive.com

上記のブログの最初に

At the AI Hardware Summit in Santa Clara, September 14th, Krste Asanovic, SiFive Co-Founder and Chief Architect, took to the stage with Cliff Young, Google TPU Architect and MLPerf Co-Founder, to reveal how the latest SiFive Intelligence™ X280 processor with the new SiFive Vector Coprocessor Interface Extension (VCIX) is being used as the AI Compute Host to provide flexible programming combined with the Google MXU (systolic matrix multiplier) accelerator in the datacenter. They also talked about why this type of architecture is becoming popular for AI/ML workloads, and how, with this configuration, SiFive provides essential compute capabilities so Google can focus on deep learning SOC development.

とあります。

つまり、Google TPU の Scalar Processor と Vector Processor の部分を SiFive X280 に置き換えて、TPUのMXUをSiFive Vector Coprocessor Interface Extension (VCIX)繋げると

そして、今まで、Xeon と TPU を PCIe で接続していたのを、X280をHostとして使うと。

Google Gemini に聞いてみた

Google TPU v6 + SiFive X280 は、Bingoっぽい

SiFive Intelligence X280: このCPUコアは、TPU v6のホストプロセッサとして使用され、TPUチップ全体の制御とデータ転送を行います。

Google Geminiによると、
Google TPU v6 + SiFive X280 は、Bingoっぽい

>SiFive Intelligence X280: このCPUコアは、TPU v6のホストプロセッサとして使用され、TPUチップ全体の制御とデータ転送を行います。 https://t.co/ICScZ4Qxqi pic.twitter.com/bNHHJEp6OX
— Vengineerの妄想(準備期間) (@Vengineer) 2024年6月11日

Network をどうする

PCIe IP (Root Complex)を出して、外部のEthernet Cardを接続すればできるが、TPU v6 は Broadcom との共同開発なので、Ethernet IP (200Gbps/400Gbps/800Gbps)もあると思うので、入れちゃえばそれも必要無くなり、コストダウンになる。

下記のXの投稿のように、今まで、x86_64のHostにPCIe(ケーブル)にて、TPU x 4個のBoardに接続していたものから TPU x 4個のボードのみになる可能性が高いです。

GoogleはBroadcomと組んで、TPU v6を開発したので、CPUはRISC-V(SiFive)、NetworkはBroadcomのを使えば、下記の v5e / v5p の x86_64 Host + TPU Board (v5e x 4 or v5p x4) が、v6 x 4 の Board になる
これはコストダウンになるし、Podのサイズも小さくでき、消費電力も少なくできる。良いことばかり https://t.co/SHIJZZiVwD pic.twitter.com/O1BedQCSCm
— Vengineerの妄想(準備期間) (@Vengineer) 2024年6月11日