はじめに
SambaNova SystemsのSN30は、TSMC 7nmの2 dieで Package 内に 1TB のDRAMを積んでいるということです。
1TB って、どうやって積んでいるの？
SN10はDDR5を接続しています。このことは、下記のSamsungの公式ブログに書かれています。
SambaNova Systems, a leader in the AI/ML space, provides vitally needed AI/ML-centric computing solutions for companies and organizations of all sizes. Their platform offerings (DataScale and Dataflow-as-a-Service) expects to leverage the power of Samsung’s DDR5 to provide the performance required for AI/ML applications.
SN10 では、Package上ではなく、基板上にDDR5を 6 ch 搭載していたのですが、SN30では Package 内に 1TB積んでいるの。。。どうやって積んでいるんだ？
もしかして、LPDDR5X ?
Samsung の LPDDR5X のサイトを覗いていたら、64bit 品として、128GBというものが載っています。
これを8個搭載すれば、128GB x 8 = 1TB になります。1 die で 4 chなので、SN10 の 6 chより少ないです。ということで、LPDDRX5 が 8個載せられるか？
下記は、NVIDIA GRACE HOPPER SUPERCHIP です。説明のために引用します。
これを見ると、パッケージ内に 8 個の LPDDR5X が載りそうです。
おわりに
ずーと、SN30の1TBメモリのことが気になっていたので、何となくわかってすっきりしています。
