はじめに
NVIDIA DGX H100の次を妄想する(その1) を書いたのは、2022年3月。DGX H100が発表されて直ぐです。 vengineer.hatenablog.com
上記では、Hopper Nextについて妄想しました。今日はその後の情報からHost CPUやNetworkについて妄想します。
Hopper Next はいつ？
下記の図は、ここから説明のために引用します。
これは、COMPUTEX Taipei 2023 の時のNVIDIAのKeynoteに出てきたスライドです。Hopperが2022年、Hopper Next が 2024年。
下図が2021年のGTCで発表されたものです。説明のために引用します。2022年、Ampere Next、2024年、Ampere Next Nextになっています。予定通りにプロダクトを出しています。
なので、Hopper Nextの発表は 2024年でプロダクトはそれ以降ということになるんでしょうね。
Host CPU は何？
DGX H100 の Host CPU は公式に発表されたのは、Intel XeonのSapphire Rapidsの公式と同じでした。
Sapphire Rapidsは、PCIe Gen5です。となると、PCIe Gen6 をサポートする、Intel Xeon になるわけですが、今年(2023)後半のEmerald Rapids は PCIe Gen5、その次(2024)の Granite Rapids も PCIe Gen5 のようです。2025年のDiamond RapidsでPCIe Gen6になりそうです。
となると、PCIe Gen6 対応のDGXを出すのは2025年になりそうです。
下記のツイート(説明のために引用します)によると、
Jensen said they just received an Intel test chip for next generation process. Probably 18A.
— Dylan Patel (@dylan522p) 2023年5月30日
Jensen said they just received an Intel test chip for next generation process. Probably 18A.
とあります。下図は、”THE NEXTPLATFORMのFINALLY: SOME GOOD NEWS FOR THE INTEL XEON CPU ROADMAP”から説明のために引用します。
Granite Rapidsは Intel 3 なので、Intel 18Aとなると、2025年のDiamond Rapidsのテストチップを入手したということですね。
となると、DGX H100の次は、
になりそうです。
ConnectX-8とBluefield-4については、
を見てください。。。
おわりに
DGX H100 SUPERPOD、DGX GH200では、256個のHopperが載っていますが、256個というのは、NVLINKの仕様からです。
Hopper Nextがこの制約を変えて、4倍の1024個とか、16倍の4096個とか、64倍の16K個とか接続できると、とんでもないものができそうです。
さあ、どうなるでしょうか？
来年のGTCが楽しみです。
追記)、2023.06.20
Blackwell は、HBM3E搭載か？となると、HBM3 => HBM3E で、6.4Gbps => 8.0Gbps
