Tenstorrent の LLM solution

はじめに

いつものように Youtube を散歩していたら、Tenstorrent の AI Hardware Summit 2023 のビデオがアップされているのを見つけました。

こちら。

AI Hardware with @jimkxa at this year's AI Hardware Summit.https://t.co/4QrthWVPEp

— Tenstorrent Inc. (@tenstorrent) 2023年11月1日

このビデオで、Tenstorrent の LLM Solution についての説明がありました。以下の画像は、上記のビデオから説明のために引用します。

Tenstorrent の LLM Solution とは、

Galaxy とは、Wormhole という GF12nm で開発したチップを 32個搭載したシステムです。

Tenstorrent の LLM Solution は、Galaxy にて LLM に対応するというものです。1つの LLM Layer を 1個の Wormhole に割り当てるというものです。上記の図では、22 Layers の LLM モデルを 22個の Wormhole で実行するというものです。Wormhole 間は 数本の100GbEで接続しています。

下記には、Wormhole を2個載せた PCIe Card を8枚載せたボード(真ん中)を8枚載せたサーバー(下)を2個積んで(上)、2 x 8 x 2 = 32個の Wormhole で Galaxy になるわけです。

Galaxy

2023年6月のマイナビの下記の記事には、Galaxy の写真が載っています。

• CPU内蔵のAIコンピュータこそが最適解、天才ジム・ケラーが語ったAI半導体の方向性

Galaxy が載っているスライドを説明のために下記に引用します。左から2番目に 4U の中に32枚のボードが入ったものが Galaxy ということでした。

おわりに

• The Future of RiscV and RiscV AI : RISC-V tech talk , Jim Keller

出も下記のように(説明のために引用します)、32枚のボードが入ったものが Galaxy になっています。

どちらなんでしょうかね。

追記)、2023.11.14

SC23にて、Galaxy が展示されているようです。

It's a @tenstorrent galaxy!
I'll take two.#SC23 #iamhpc pic.twitter.com/fmdzoUr5x4

— 𝐷𝑟. 𝐼𝑎𝑛 𝐶𝑢𝑡𝑟𝑒𝑠𝑠 (@IanCutress) 2023年11月14日

上記のスライドの中のGalaxyと同じっぽいです。

表側同士/裏側同士を4本のケーブルで接続するようです。HOSTと書いてあるところはどうなるのでしょうかね。