はじめに
NVIDIAのAda Lovelaceが発表されました。
Ada Lovelace
上記の図は、下記のYoutubeから説明のために引用しています。
今回発表になったのは、Ada Lovelace、AD102のようです。
Turning (TU102)、Ampare (GA102)と比較してみます。
下図の左はAD102、右はTU102。
パッと見、レイアウトが似ていますね。
AD102 : https://semianalysis.substack.com/p/nvidia-ada-lovelace-leaked-specifications?s=r TU102 : https://developer.nvidia.com/blog/nvidia-turing-architecture-in-depth/
下図は左はAD102、右はGA102．
GA102は、計算機はまとまっています。
- AD102 : https://semianalysis.substack.com/p/nvidia-ada-lovelace-leaked-specifications?s=r
- GH102 : https://twitter.com/FritzchensFritz/status/1338201495007793152/photo/3
下図は左はAD102、右はGH100．
SM数は、共に 144。プロセスも TSMC 4N。
die size はかなり違うがトランジスタサイズはあんまりかわらない。
L2 Cache Size は、倍半分ぐらいなので、それがトランジスタサイズなのか？
- AD102 : 96MB
- GH100 : 50MB (60MB)
- AD102 : https://semianalysis.substack.com/p/nvidia-ada-lovelace-leaked-specifications?s=r
PCIe Gen5 x16
- NVLink は、v3 で 2組あるっぽい。
後藤さんの下記の記事によると、L2 Cache は メモリコントーㇻ毎に 512KB 付いているっポイ。
下図の右側は、後藤さんの記事から説明のために引用しています。左側は GA102 die の下側の部分。
GA102は、12 x 512KB で 6144KB (6MB) の L2 Cache
一方、AD102は、GA102と同じ数のメモリコントローラが載っています。96MBを12で割ると、1つのメモリコントローラには8MBのL2 Cacheが付いていることになります。
あたし的には下記のように、真ん中の赤色の点線の枠の中が L2 Cache だと思っています。
下図は、このツイートから説明のために引用します。
この図では、L2 Cacheはちょっと違うところにあると想定しています。
おわりに
それにしても、GH100よりも大きなL2 Cacheを積んでいるんですね。といっても、TU102、GA102の構成と基本的には同じAD102は各メモリコントローラにL2 Cacheが付いているので、この部分のCacheを大きくすることで性能が上がるようになっているんだろうと思っています。
