Vengineerの妄想

人生を妄想しています。

Microsoftも発表。Maia AI Chip & Cobalt CPU

はじめに

Microsoftも AI Chip (Maia 100) と CPU (Cobalt 100) を発表しましたね。下記は Microsoft からのMaia AI Chip と Cobalt CPU の発表内容です。

news.microsoft.com

Youtube : AI Infrastructure: Satya Nadella at Microsoft Ignite 2023

  • Google : TPU v4/v5e
  • AWS : Trainium & Inferentia2
  • Meta : MTIA

と既に発表していましたが、Microsoftも発表しましたね。

Maia 100 == Athena

Maia 100

下記の写真が Maia 100 の写真、上記のMicrosoftの記事から説明のために引用します。

  • HBM が 4個載っています。

下記の写真が Maia 100 が搭載されている Rack です。上記のMicrosoftの記事から説明のために引用します。

A custom-built rack for the Maia 100 AI Accelerator and its “sidekick” inside a thermal chamber at a Microsoft lab in Redmond, Washington. The sidekick acts like a car radiator, cycling liquid to and from the rack to cool the chips as they handle the computational demands of AI workloads. Photo by John Brecher for Microsoft.

と説明があります。左側が冷却用の装置のようです。Youtube の 10:09 頃に下記のような映像が流れます。

追記)、2024.08.24 (関連記事)

www.servethehome.com

  • TSMC CoWoS-S
  • TSMC 5nm
  • ~ 820mm2
  • HBM2E-64GB (1.8TB/s : 1.8TB/4 = 450GB/s : 3.51Gbps)
  • 12 x 400GbE
  • PCIe Gen5 x 8
  • TDP : 700W(Design to)/500W(Provision)

Cobalt 100

下記がCobalt 100 のチップです。Youtubeからです。パッケージからは die のサイズ等はわかりませんね。

下記がRackの写真です。

1つのRackに、11 + 11台のサーバーがあるのが分かります。

Cobalt 100は、下記のArmのプレスにあるように、Arm Neoverse CSSベースで開発したようです。

newsroom.arm.com

下記が Arm Neoberse Compute Subsystems の発表時のプレスです。

newsroom.arm.com

Arm Neoverse Compute Subsystem の技術ブログは下記にあります。

community.arm.com

Arm Neoverse Compute Subsystem を利用するメリットは、下図(説明のために引用します)にあるようで、IP Licenseベースの開発に対して、80 EY Saving ということで開発期間の短縮ができるようです。

下図(説明のために引用します)が、Arm Neoverse CCS N2 の説明です。ターゲットプロセスは、5nm のようです。

上記の説明では、CPUコア数は、24/32/64コアです。Cobalt 100 は 128コアなので Die-to-Die Links を使って、2 die である可能性が高いと思います。

下記のThe Nextplatform の記事のコメントに、

These copy-paste CSS Genesis IP Neoverse N2s seem to be quite the ticket to allow hyperscalers (deep pockets) to cut the middlefolks (Ampere?) with rather standardized and proven designs (unlike RISC-V), here with the pretty-decent dual-chiplet 128-cores Cobalt 100. I do like Graviton3E, Rhea1, and Grace’s Neoverse V1 and V2 better though … for the extra oomph!

とありました。

www.nextplatform.com

下記のSTHの記事にも chiplet 開発とありました。

www.servethehome.com

下図(説明のために引用します)が、Arm Neoverse CCS N2 のブロック図です。

  • DDR5 x 4 ch

下記の記事に、

It has 128 Neoverse N2 cores on Armv9 and 12 channels of DDR5, and is based on Arm’s Neoverse Genesis CSS (Compute Subsystem) Platform.

とあります。

1 die には、4 ch なので、2 die の可能性が高いです。

www.datacenterdynamics.com

おわりに

と発表したので、後は、Apple ですね。

Microsoft の AI、Intel san 居ません。て、言うか、どこにも居ません。居るのは、Intel Habana ですね。

関連記事

www.semianalysis.com

追記)、2024.04.26

Cobalt の評価基板の写真が下記にありました。その写真を記録のために引用します。

Microsoft introduces its own chips for AI, with eye on cost

各6枚なので、3CH