Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう!

Tenstorrentの ML Computer戦略

はじめに

ML Accelerator を開発している Tenstorrent。このブログでもかなり取り上げています。下記の9エントリはありました。

2021年にJim Kelly -san が CTO and President になり、どうやら、戦略が変わったようです。ML Accelerator から ML Computer を作ることになったようです。

ML Computer 戦略を実現するのは、Grendel からのようです。

2021年12月2日の下記のブログでも書きましたが、Balckhole / Grendel が ML Processor ではなく、ML Computer になると。

vengineer.hatenablog.com

  • Blackhole (2022)、TSMC N7、Network and RISC-V core and ML Processor => ML Computer (メモリがGDDR6 x 6 => DDR5 x 8, 100GbEから400GbE, SiFive Sifive x280 CLUSTER)
  • Grendel (2023)、TSMC N3、DDRx x 12、TenstorrentオリジナルなRISC-V core

2022年1月24日のブログでは、

  • Blackhole (2022)、TSMC N7 => N6 に変更。現在では、N7 より N6 の方がコスパがよくなったからのようです。
  • Grendel (2023)、TSMC N3 => N4 。N3の量産時期が2023年なので間に合わないので、N4になったのでは?

vengineer.hatenablog.com

  • Bigger arrays of AI processors
  • Combine with CPUs
  • CPUs can handle high level code
  • CPUs can also work in th AI graph

にあるように、CPU を入れて、今まで x86-64 ホストでやっていたことをチップ内でやるようにした、ということがポイントですね。

Gendel は chiplet ?

下記のビデオでは、Rackの中に収めるものを chiplets で構築するというのを説明しています。

www.youtube.com

下記の部分、説明のために引用します。

  • TOR Memory
  • ML Compute
  • Custom Compute
  • General Comput

で下の3つは、chiplets で構成しているっぽいです。

下記の2023年のTSMC Forumでの講演ビデオでは、

  • Designing in 2023: 10 Problems to Solve

というタイトルで、ソフトウェアで行ってきたことを、チップ開発でも行う?という感じでプレゼンテーションしています(最後は、え、ここで終わり?という感じですが)

www.youtube.com

おわりに

ML Computer。

実は、Tenstorrent だけでなく、

  • Intel : Falcon Shores XPU
  • NVIDIA : Grace Hopper Superchip
  • AMD CDNA 3 (MI300)

とサーバー用半導体を開発している大手3社も着実に進めています。そのきっかけとなったのが、2021年春のNVIDIA GTC 2021 で発表になったGraceです。

vengineer.hatenablog.com

Graceを含めたNVIDIAのArm系戦略については、本日の半導体チップ雑談にてお話したいと思います。