はじめに
ML Accelerator を開発している Tenstorrent。このブログでもかなり取り上げています。下記の9エントリはありました。
- TenstorrentのAIコアは、SynopsysのARCベース？(2022/07/31)
- Tenstorrentのコンパイラ技術、RESPAPE/TRANSPOSE/SQUEEZEをデータ移動に押し込む(2020/12/16)
- 話題の Jim Keller さんが President and CTO, with a seat on the board になった 会社、Tenstorrent のチップってどんな感じ？(2021/01/09)
- Jim Keller さんへのインタビュー記事を読んで(2021/05/31)
- Tenstorrent、2021:Wormhole (12nm)、2022:Blackhole (7nm)、2023:Grendel (4nm)(2021/12/02)
- Tenstorrent もクラウドサービスを始めたっぽい (2021/12/14)
- Tenstorrentの戦略は、複数のAIモデルをシステム内に入れちゃうっていうこと！ (2022/01/24)
- Tenstorrent の Black Hole (6nm)、Grendel (4nm) (2022/03/24)
- TenstorrentのOcelot: The Berkeley Out-of-Order RISC-V Processor with Vector Support (2022/10/25)
2021年にJim Kellr -san が CTO and President になり、どうやら、戦略が変わったようです。ML Accelerator から ML Computer を作ることになったようです。
ML Computer 戦略を実現するのは、Grendel からのようです。
- Jawbridge (2019)、GF 14、ML Processor
- Grayskull (2020)、GF 12、ML Processor
- Wormhole (2021)、GF 12、Network and ML Processor
2021年12月2日の下記のブログでも書きましたが、Balckhole / Grendel が ML Processor ではなく、ML Computer になると。
- Blackhole (2022)、TSMC N7、Network and RISC-V core and ML Processor => ML Computer (メモリがGDDR6 x 6 => DDR5 x 8, 100GbEから400GbE, SiFive Sifive x280 CLUSTER)
- Grendel (2023)、TSMC N3、DDRx x 12、TenstorrentオリジナルなRISC-V core
2022年1月24日のブログでは、
- Blackhole (2022)、TSMC N7 => N6 に変更。現在では、N7 より N6 の方がコスパがよくなったからのようです。
- Grendel (2023)、TSMC N3 => N4 。N3の量産時期が2023年なので間に合わないので、N4になったのでは？
- Bigger arrays of AI processors
- Combine with CPUs
- CPUs can handle high level code
- CPUs can also work in th AI graph
にあるように、CPU を入れて、今まで x86-64 ホストでやっていたことをチップ内でやるようにした、ということがポイントですね。
Gendel は chiplet ?
下記のビデオでは、Rackの中に収めるものを chiplets で構築するというのを説明しています。
下記の部分、説明のために引用します。
- TOR Memory
- ML Compute
- Custom Compute
- General Comput
で下の3つは、chiplets で構成しているっぽいです。
下記の2023年のTSMC Forumでの講演ビデオでは、
- Designing in 2023: 10 Problems to Solve
というタイトルで、ソフトウェアで行ってきたことを、チップ開発でも行う？という感じでプレゼンテーションしています(最後は、え、ここで終わり？という感じですが)
おわりに
ML Computer。
実は、Tenstorrent だけでなく、
とサーバー用半導体を開発している大手3社も着実に進めています。そのきっかけとなったのが、2021年春のNVIDIA GTC 2021 で発表になったGraceです。
Graceを含めたNVIDIAのArm系戦略については、本日の半導体チップ雑談にてお話したいと思います。
来週日曜日の11:00-12:00に半導体チップに関する雑談をやっています
— Vengineer＠ (@Vengineer) 2022年11月20日
第65回、
来週日曜日(11/27)は、
NVIDIAのArm系戦略についてhttps://t.co/eGC9zUCOgB
