はじめに
このブログでも何度も取り上げている Esperanto Technologies 。下記の eetimes の Sally -san の記事によると、recommendation から HPC/LLMs に pivot したと。
Esperanto Technologies は、recommendation をターゲットにしていた?
2014年創業、2021年から2022年にプロダクトアウト。。
FacebookのGlow対応にて、Intel NNP-IからEsperanto Technologies ET-SoC-1 になっていたようでしたが、Facebook(Meta)だけでは売上あがらないと見たのか?
下図は、Esperanto Technologies にありました。入力は、PyTorch と ONNX のみになっています
下記は、Esperanto Technologies のホームページに載っている 2U サーバー (説明のために引用します)
下記の左側は 上記 2U サーバーを上から見たもの、4か所に右側のような PCIe Slot が接続しています。左側の PCIe Slot に4枚のPCIe Board を搭載できるようです (説明のために引用します)
PCIe Board は、下記のようなもので、ET-SoC-1 が真ん中に1個。LPDDR4が4個載っています (説明のために引用します)
Hot Chips 2021 Live Blog: Machine Learning (Esperanto, Enflame, Qualcomm)の中のスライドを下記のように説明のために引用します。
recommendation 用では、下記のように M.2 x 2 サイズの ET-SoC-1 と LPDDR4 が4個載っていました。こちらは放熱フィンは付いていません。
下記のスライドによると、 0.3 V から 0.9 Vの電源変更で電力効率を変えられるようで、M.2 x 2 の場合は、0.3 V 、PCIe Board の場合は 0.9 V で動かしているのだと思います。
ちょっと前のPCIe Board
2022年の MICRO-55 の Keynote のスライド : The RISC Journey from One to a Million Processors を振り替えてみると、Page.52 に下記のような写真が載っていました(説明のために引用します)
Page.54 に 2Uサーバーに載せたスライドがありました(説明のために引用します)。CPUは、Intel Xeon Ice Lake-SP ですね。
おわりに
Page.58 には、Monolithic と Chiplet との比較があります(説明のために引用します)。このスライドによると、7nm で 3倍のメリット、3nm で 4.2倍のメリットになるようです。
Monolithic では 1種類の die ですが、Chiplet の場合は、2種類の die またはそれ以上の種類の die になるので開発費が必要です。
だから、いっぱい売れれば、Chiplet のメリットは大きいと思います。
ということで、大量に使うと、量としてはいっぱい売れるので、Chiplet が優位になるんだと思うんですけどね。。。
ちなみに、30 cm ウェハーの価格は 1000枚ぐらいでも、量産価格にはならないと思うんですよね。