@Vengineerの戯言 : Twitter SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった
はじめに
NVIDIAのGRACEのGTC21のビデオを見直してブログに書いたのが5月12日
そして、昨日、TwitterのTLに、このツイートにコメントが付いてきて流れてきたので、「Perlmutter」 について調べたら、仕様が見つかりました。
4EFLOPSのAI性能を発揮するNVIDIA A100搭載スパコン「Perlmutter」 https://t.co/azkWi7eaEH pic.twitter.com/yKjZbf18O4
— PC Watch (@pc_watch) 2021年5月27日
その中に、GPUノード内の構成の図(説明のために書きに引用します)もありました。A100が4基NVLinkで接続しています。CPUはAMD EPYC Milano が1基。 性能を考えると4基ではなく、8基にした方がいいと思ったのですが、よく見ると 4基だと、NVSwitch が要らなくなるんですよね。
GRACE では？
で、GRACEの場合はどうなるのか？
下図(説明のために引用します)はx86-64とGPUのケース。「Perlmuter」と基本的に同じ構成。従って、GPUが4基なので NVSwitch は必要無し。でも、図でのGPUの接続は最上段と最下段の接続が無いように書かれている。。実際は「Perlmuter」と同じような接続になっているはず。
では、GRACEではどうなっているのか？下図(説明のために引用します)のように、GRACEは1つのGPUとしか接続していないような感じの絵になっています。
前回のブログを書いた時はそれほど疑問には思っていなかったのですが、ボードの部分のところを引用した部分(下図は説明のために引用します)で、NVSwitch が3個載っているとブログに書きました。GPUが4基ならNVSwitchは必要ないですが、GPU4基に加えて、GRACEが4基追加され、NVLinkが付いているデバイスが8基になったということ。 DGX A100 では、GPUが8基、NVSwitchが6個。。。しかしながら、GRACEのビデオではNVSwitchは3個であると想定。
この 3個の NVSwitch に GPU だけでなく、GRACEも繋がっていないんじゃないのかな？と思うようになりました。そして、どんな感じに繋がっているかを妄想したのが下図です。 右側は繋がっていませんが、左側と同じように繋がっていると想定しています。
GPU からは12本のNVLinkが出ています。12本の内6本(2本が3組)を NVSwitchに接続し、残りの6本をGRACEに接続。一方、GRACEも12本のNVLinkを持っていて、6本はGPUと接続して残りの6本(2本が3組)はNVSwitchに接続している感じ。これでGPU間、GRACE間の接続も可能。
第3世代NVLinkでは12本で300GB/sだったを第4世代NVLinkでは500GB/s(何本かは現状公表されていません)になるということ。。
おわりに
GRACEのビデオで NVSwitch が載っている理由が何となくわかったので今回ブログに残しておくことにしました。 来年か再来年にGRACEの詳細が出てきたときに、この内容がどのくらいあっているかが楽しみです。
