はじめに

Tesla Dojoの詳細がTesla AI Day 2022にて公開。その時のビデオは、下記のYoutubeにて公開されています。

www.youtube.com

下記の図は、上記ビデオから説明のために引用します。

System Tray

TILE が 6個搭載されているもので、高さは 75mm で重さは 135kg です。人では持てないですね。2000A とは。。。

Dojo Interface Processors

Dojo Interface Processors の情報は既に公開されていますが、今回はその Dojo Interface Processors が全体のどこにどのように使われるかを教えてくれました。

HIGH-BANDWIDTH DRAM : 32GB

Dojo Interface Processor は、標準的なPCIe Card(長い方)で、その Dojo Interface Processor を 20 枚使われています。

何故？20枚なのか？

Tileの1辺には10個のコネクタが付いていて、2個のコネクタを1枚の Dojo Interface Processor に接続します。5枚の Dojo Interface Board で Tile が1個。2個ならんでいので、10枚。前と後の2組で20枚という感じですかね。

下図は Hot Chip 34 での発表資料から説明のために引用します。両側にある DIPx5 (DIPが Dojo Interface Processor)。

System Tray の真ん中が開いているのですがこれはなぜ？

下記のように、その下にホストがあります。

512 TOTAL X86 CORES とあるので、64コアのAMD EPYC (Milan)だと 8 個載っていることになりますね。PCIe Board が 20枚、5枚 x 4 と考えると、2個のEPYCが4組載っている感じでしょうか。。。

メモリは 8TB

Dojo Interface Board は、標準PCIe Boardなので、System Trayのすぐ下にところに刺さり、下部にEthernetの口が見えます。ここにケーブルを指します。

前面で10個、平面で10個。

Dojo Cabinet

1つの Cabinet に 2 セット入っています。。。

こんな感じ。説明のために引用します。

Tesla showing off their Dojo supercomputer in new Instagram post: pic.twitter.com/PMjk4EfBbS
— Sawyer Merritt (@SawyerMerritt) 2022年10月1日

ExaPOD

この図では 10個の Dojo Cabinet がありますね。

13TB の High-Bandwidth DRAM。1枚の Dojo Interface Board には 32GB なので、20 枚の Dojo Interface Board で 640GB。Cabinetには2つ入っているので、1.28TB　 x 10個で13TB。

全体のデータの流れ

REMOTE DMA OVER TTPOE (TTP over Ethernet ) => Dojo Interface Board 経由で接続しているっぽい。ETHERNET SWITCH

おわりに

これだけのものを開発しているので、100億円単位のお金を使っていると思います。どこの会社でもできるとは思えません。。。

この件については、下記のツイートのスレッドを読むと面白いかもしれません。参考のために引用します。

Thread on my observations about the Dojo presentation at Tesla AI day 2022 👇

Generally, some ambitious goals and great progress!
Tesla is masterful at presenting their tech by intermingling real progress with projections. I try to cut through below.
— Naveen Rao (@NaveenGRao) 2022年10月1日