Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう!

Grace の silicon die を妄想する

はじめに

GTC22のGraceに関しては、2回ブログに書きました。

vengineer.hatenablog.com

vengineer.hatenablog.com

今日は、Graceの silicon die を妄想します。

妄想するネタは?

Graceの silicon die は公式には公開されていませんが、下図のGraceの写真から妄想します。

下図は、NVIDIA Confirms Ampere GPU Successor Arrives in 2022 & Next-Gen After That In 2024 In Its Latest Roadmapから説明のために引用します。2023年のGrace、2024年のBluefield-4、Ampere Next Next、2025年の Grace Next

f:id:Vengineer:20220330082307p:plain

Graceの部分だけ拡大します。上段に(6 x 3) + (6 x 3)、下段に(6 x 4) + (6 x 4) のブロックが2次元に並んでいます。12 x 7 = 84。この内、8個はCPUコアではありません。76個のCPUコアになります。Graceの公式でのCPUコアは72個なので、4個はスペア的な扱いなんですね。。。

上段の(6 x 3) の一番上には、2か所、下段の(6 x 4)の一番下にも 2か所、違うものがあります。これは、メモリコントローラだと思います。全部で8か所メモリコントローラがあります。Graceには LPDDR5X(32ビット)が8個載っているので、各メモリ毎にメモリコントローラ1個です。

f:id:Vengineer:20220330095111p:plain

2次元の構成は、Intel Xeonと同じ感じです。下図は、Intel Xeon (Ice Lake SP)の silicon die shotで、THE TICKING AND TOCKING OF INTEL’S “ICE LAKE” XEON SPから説明のために引用します。4か所(1か所で2チャンネル)のメモリコントローラがあります。

f:id:Vengineer:20220330100203p:plain

左側にかなり大きなブロックがありますね。

NVIDIA EMBRACES THE CPU WORLD WITH “GRACE” ARM SERVER CHIPから下図を説明のために引用します。

Hopperとの接続

f:id:Vengineer:20220330102053p:plain

Grace間での接続

f:id:Vengineer:20220330102116p:plain

から左側の大きなブロックは、NVLink ではなさそう。何だろうか?

CPUコアに関して、上記の記事の中で

If the yield on the cache is not 100 percent, as the yield on the CPUs is not with only 72 of the 84 cores active, then there is actually 231 MB of physical L3 cache on the Grace die.

とありますね。84個全部コアとしているんですね。

おわりに

CPUコア数が 72(74/84)コアですが、ArmのCMN-700を使えば最大128コアまでいけそうです。メモリコントローラをそのままにして、(6 x 3) を (6 x 4) にすると、12 x 8 = 96コアまでいけそうです。

Ampere Computing Altra Maxのデータシートによると、Memoryは

  • 8x 72-bit DDR4-3200 channels
  • SECDED ECC, Symbol-based ECC, and DDR4 RAS features
  • Up to 16 DIMMs and 4 TB/socket

の8チャネルになっていますね。 (6 + 6) = 12コア、128コア - 84コア = 44コア、(6 + 6) x 3 = 36コアぐらいは、増やせそうです。そうなると、(6 x 5) + (6 x 5) が2個、30 x 2 x 2 - 8 = 120 - 8 = 112コア

Next Graceは、112コアぐらいまではいけそうですね。。。