AMD MI300X/MI300A の IOD の詳細が出てきたので、記録に残します。

はじめに

Xの下記の投稿にて、@VLSI_2024 にて、AMDが発表した MI300X/MI300A の IOD の情報が載っていたので記録のために残します。

At @VLSI_2024 AMD gave some further details on the Instinct MI300 family and why just mirroring the IODs wasn’t enough, but still a relatively easy path plus more details on the power delivery planning.https://t.co/A4dzdUbZW3 pic.twitter.com/ha587qyHq4

— Andreas Schilling 🇺🇦 🇮🇱 (@aschilling) 2024年6月22日

MI300X/MI300A の IOD

MI300X/MI300A の IOD に関して、今回、かなり詳細なところまで発表があったようです。

上記の記事には、AMDのスライドが載っています。。。右上に、XX とマークを付けていますので、今回は図を直接引用せず、URLのみとします。

• AMD Instinct MI300X Accelerator: Packaging and Architecure Co-Optimization

• IOD Architecture and Packaging

  • Desired IOD greatly exceeds maximum photolithographic rectile
• IOD Architecture and Packaging
  • Utilize chiplet-stlye partitioning to create manufacturable IOD
• IOD Architecture and Packaging
  • Leverage AMD Ultra-Short Reach (USR) PHY technologu originally developed for AMD Radeon GPUs : (Ultra Short Reach:10mm以内)
    • 3.0 TB/s/dir (USR) x 2 + 2.4 TB/s/dir
• IOD Architecture and Packaging
  • IOD are highly leveraged from the same design, but not exactly identical
• IOD Architecture and Packaging
  • Simple mirroring is insufficient

• IOD Architecture and Packaging

  • Majority of engineering is reused + simple algorithmic updates : One Design -> Two Tapeouts

• 3D Chiplet Interfaces

  • Sample simple digital signal interface between dies as 3D V-Cache Technology
    • 3 TB/s では、6組 (1組で、500GB/s)、100Gbps とすると、5 x 8 = 40本
    • 2.4 TB/s では、4組 (1組で、600GB/s)、100Gbps とすると、6 x 8 = 48本
• 3D Chiplet Interfaces
• 3D Chiplet Interfaces
  • Redundat TSVs unused in "non-mirrored" IOD Solution: redundata TSV interfaces

• 3D Chiplet Interfaces

  • On mirrored IOD, enable redundant TSVs, disable other set

• Power Delivery Planning

  • Customized Infinity
    • Cache Array
  • Power/Ground
    • TSVs

• MI300X Packaging Construction

  • 8 stacks of HBM
  • 8 XCDs
  • 4 IODs
  • 3D hybrid bounding
  • 2.5D silicon interposer
    • IOD-IOD links
    • IOD-HBM links

おわりに

IOD間の帯域が、

• 3.0 TB/s + 2.4 TB/s

あるんですね。

HBM3の全体の帯域が 5.3TB/s なので、1/4 だと、1.325 TB/s 。接続している各 IOD への帯域は HBM3 よりは多いですね。

NVIDIAのNVLINK-C2Cは、双方向で 900GB/s (片方向 450GB/s)に対して、6倍、4倍になりますね。。。B200のNV-HBIは、10 TB/s 。たぶん、双方向なので 5 TB/s。上記のMI300Xの2つのIODとの帯域と同じぐらいですね。。。

参考ブログ

vengineer.hatenablog.com

• Navi 31
  • 7 die : Graphics Compute Die (GCD), 5nm + Memory Cache Die (MCD), 6nm
  • Infinity Cache : (4MB x 4 x 6) = 96MB

下図は、ここから説明のために引用します。

• MI300X
  • GCD x 8 (5nm) + IOD x 4 (6nm)
  • Infinity Cache : (2MB x 16) x 2 = 64MB x 4 (IOD)

Navi 31の Infinity Cache は、1メモリコントローラ当たり、16MB (4MB x 4) MI300XのInfinity Cache は、1メモリコントローラ当たり、32MB

vengineer.hatenablog.com