はじめに

昨日の朝、下記のXの投稿でなんか凄いの出てきたな？と思っていましたが、昨日は記念日でお散歩していたのでそのままにしていました

AI Startup Etched Unveils Transformer ASIC Claiming 20x Speed-up Over NVIDIA H100 https://t.co/XyDuxpAjcg pic.twitter.com/WndQOstVFL
— TechPowerUp (@TechPowerUp) 2024年6月25日

今日は、NVIDIA H100x8より20倍、B200x8より10倍速く、LIama 70Bを実行するEthced Sohuを妄想してみたいと思います。

では、Let's 妄想

Etched のサイト

夜、下記のEtchedの投稿が流れてきたので、サイトの情報を眺めてみました。

www.etched.com

PCで見てみたら、ボード(CGでしょうね)の下記の写真が出てきます。説明のためと無くなると勿体ないので引用します。

OAMみたいなボード
1 die + HBM x6
周りにある２個のICが載っているのは電源(23個)
左側にある大きなモジュールも電源(48Vor54V)
右側にあるのはマイコン？(マイコンの周りにはデバック用のピンが立てられるようになっている)

Meet Sohu, the fastest AI chip of all time.

With over 500,000 tokens per second running Llama 70B, Sohu lets you build products that are impossible on GPUs. One 8xSohu server replaces 160 H100s.

Sohu is the first specialized chip (ASIC) for transformer models. By specializing,… pic.twitter.com/IndYfP2CN0
— Etched (@Etched) 2024年6月25日

die の部分を拡大します。CGなので本物かどうかは分かりませんが、全くのウソじゃないでしょう！

上下に3個づつ、HBMのPhy
左下が PCIe Gen5 x16 ?
右側には、8組の何らかのPHY (Ethernetらしい)。x8構成には、7組は必要。残りの1個は外部用でしょうか？
左側が計算機部分
右側がなんでしょうか？
上側のHBM PHYの間に、何かありますね。

サイトには、下記のように、

-「Only One Core」とありますので、左の大きなのがコア、っぽですね - 144 GB HBM3E per chip - この記事では、TSMC 4nm のようです

職を見てみる

サイトのCareersをクリックすると、HARDWARE関連では、

Design Verification Engineer
Director of Systems
Physical Design Engineer
RTL Design Engineer

があります。。

う？まだ、チップはない。。。の？

上記の内容を見ると

PCIe, Ethernet, or HBM interfaces
Experience with back-end design and timing closure on 3nm-7nm
Familiarity with OpenROAD and other automated RTL-to-GDSII flows

下図は、Careersの頁にあったボードの図です。参考のために引用します。

過去の職(5か月前)

RTL Design Engineer
- Experience with chip-to-chip interconnects and HBM3/HBM3E technologies.
Director of Platform
- Experience with Open Compute Platform standards
- Familiarity with OAM-like accelerators and the baseboards they fit onto