はじめに
昨日、GroqCloud についてブログに残しました。
現在、GroqCloud で使われているものは、GF12 で開発した GroqChip1 を8個搭載した x86_64 x 2 ベースのノードが9個入った GroqRack です。
That's a strong-looking GroqRack™ right there, don't ya think? Serving up tokens faster than anyone. We're building A LOT more hardware and increasing capacity weekly. Scaling to be a token factory to help change the world of AI through the world's greatest inference engine. pic.twitter.com/l3q32XjC6b
— Groq Inc (@GroqInc) 2024年2月27日
Rackの裏側はこんな感じでケーブルがいっぱいです。
ピンクのケーブルは、GroqCard (GroqChip1が載っているPCIe Card) から出ているチップ間の接続のためのものです。
拡大したものが下図です。各GroqCardから4本のケーブルが出ています。
また、真ん中のスロットに刺さっている、GbE Card (どのぐらいの転送レートかはわかりません) からは2本、ケーブルが出ています。
今回は、この GroqRack がどのようになっていくのかを妄想します。
追記)、2025.07.20
下記のYoutubeの動画からのスライドを説明のために引用します。
NotebookLMの音声概要
2nd Gen System
下記のブログでは、
- 2nd Gen System
- 3rd Gen System
について、妄想しました。
現在の GroqNode をベースにした GroqRack では、
- GroqNode x 9 = 72 x GroqChip1
です。
2nd Gen System になると、GroqChip1 のままですが、Rack に入るチップ数は、
- 4128/33 = 125.09、125/32 = 4、4 x 32 = 128 GroqChip1
となります。
Rack当たり2倍のGroqChip1 が搭載されることになります。
3rd Gen System
3rd Gen System では、GroqChip2 が搭載され、チップの性能が上がります。また、Rack当たりのChip数は、
- 680064/675 = 1007 / 336 = 3、3 x 336 = 1008 GroqChip2
となります。Rack当たり約8倍です。
整理
ここまでで、Rack当たりのチップ数は、
- 現在のシステム => 2nd Gen System : 2倍
- 2nd Gen System => 3rd Gen System : 8倍
V2 2nd Gen System
下記のブログに残した V2 2nd Gen System では、2nd Gen System の GroqChip1 を GroqChip2 にしたものがあるようです。
となると、
- 現在のシステム => V1 2nd Gen System : 2倍
- V1 2nd Gen System => V2 2nd Gen System : GroqChip1 => GroqChip2
- V2 2nd Gen System => V3 3rd Gen System : 8倍
ということになりました。
おわりに
Groqは、まだ、現在のシステムしかリリースしていません。ということは、まだ、
- V1 2nd Gen System
- V2 2nd Gen System
- V3 3rd Gen System
と3つのPlatformの構想があるということです。
ということで、Groqはまだまだ資金が必要であることがわかります。
また、現行のシステム => V1 2nd Gen System に対しては、新規に開発するものは、
- SoC
- FPGA
なので、GroqChip側はそのままです。つまり、まずはSystem全体の改善を先に行う選択をしたということです。
それができたら、V2 2nd Gen System で GroqChip1 => GroqChip2 で性能を上げ、V2 3rd Gen System で 規模を拡大するというステップになっています。
