Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう!

Esperanto Technologies が recommendation から HPC/LLMs に pivot ?

はじめに

このブログでも何度も取り上げている Esperanto Technologies 。下記の eetimes の Sally -san の記事によると、recommendation から HPC/LLMs に pivot したと。

www.eetimes.com

Esperanto Technologies は、recommendation をターゲットにしていた?

2014年創業、2021年から2022年にプロダクトアウト。。

FacebookのGlow対応にて、Intel NNP-IからEsperanto Technologies ET-SoC-1 になっていたようでしたが、Facebook(Meta)だけでは売上あがらないと見たのか?

vengineer.hatenablog.com

下図は、Esperanto Technologies にありました。入力は、PyTorch と ONNX のみになっています

下記は、Esperanto Technologies のホームページに載っている 2U サーバー (説明のために引用します)

下記の左側は 上記 2U サーバーを上から見たもの、4か所に右側のような PCIe Slot が接続しています。左側の PCIe Slot に4枚のPCIe Board を搭載できるようです (説明のために引用します)

PCIe Board は、下記のようなもので、ET-SoC-1 が真ん中に1個。LPDDR4が4個載っています (説明のために引用します)

Hot Chips 2021 Live Blog: Machine Learning (Esperanto, Enflame, Qualcomm)の中のスライドを下記のように説明のために引用します。

recommendation 用では、下記のように M.2 x 2 サイズの ET-SoC-1 と LPDDR4 が4個載っていました。こちらは放熱フィンは付いていません。

下記のスライドによると、 0.3 V から 0.9 Vの電源変更で電力効率を変えられるようで、M.2 x 2 の場合は、0.3 V 、PCIe Board の場合は 0.9 V で動かしているのだと思います。

ちょっと前のPCIe Board

2022年の MICRO-55 の Keynote のスライド : The RISC Journey from One to a Million Processors を振り替えてみると、Page.52 に下記のような写真が載っていました(説明のために引用します)

Page.54 に 2Uサーバーに載せたスライドがありました(説明のために引用します)。CPUは、Intel Xeon Ice Lake-SP ですね。

おわりに

Page.58 には、Monolithic と Chiplet との比較があります(説明のために引用します)。このスライドによると、7nm で 3倍のメリット、3nm で 4.2倍のメリットになるようです。

Monolithic では 1種類の die ですが、Chiplet の場合は、2種類の die またはそれ以上の種類の die になるので開発費が必要です。

だから、いっぱい売れれば、Chiplet のメリットは大きいと思います。

ということで、大量に使うと、量としてはいっぱい売れるので、Chiplet が優位になるんだと思うんですけどね。。。

ちなみに、30 cm ウェハーの価格は 1000枚ぐらいでも、量産価格にはならないと思うんですよね。