はじめに
下記に、LLM Inference超絶速い Groq に関する資料を見つけました。
この資料の中に、V2-LPU 2nd Gen System みたいなものがありましたので、記録に残します。
2nd Gen System と 3rd Gen System については、下記のブログにて妄想しました。
2nd Gen System と 3rd Gen System
下図は、上記のブログにも載せた図です。説明のために引用します。
- 2nd Gen System : 32 V1-LPU
- 3rd Gen System : 336 V2-LPU
になっています。
V2 2nd Gen System
上記の新しい資料のP.115(残念ながらアクセスできなくなりました) に以下の図がありました。説明のために引用します。
上記の
- 2nd Gen System : 32 V1-LPU
- 3rd Gen System : 336 V2-LPU
の間に、
- 2nd Gen System : 32 V2-LPU
なるものも存在します。
V1-LPU と V2-LPU の違いにより、Single Core Cluster 内の LPU 数が違うようです。
- V1 : 4,128 x LPU (33 Racks)
- V2 : 40,968 x LPU (320 Racks)
V1からV2にすることで、約10倍のLPUになります。
そして、もう一つ。Silicon Generation のところに、赤い四角があるのですが、3rd Gen System のところだけ、赤い四角が4つになっています。
これは妄想ですが、
- V2 : 1 chip
- V2 : 4 chips
という構成ができ、新たに登場した V2 2nd Gen は V2 を 1 chip 構成にして、V1 2nd Gen System と同じような構成だけど、Single Core Clusterでは約10倍の規模にできる。
V2 3rd Gen では、4 chips の構成になるので、その前に、1 chip でシステム構築して、世にリリースする
というフェーズが入ったのでしょう！
2nd Gen System の話は、下記のブログに書いた時期(2023.11)なので、最初の資料の 2024.6 の半年間に追加されたのでしょうか？
おわりに
Groqの 2nd Gen System は、
- V1-LPU 2nd Gen System
- V2-LPU 2nd Gen System
- V2-LPU 3rd Gen System
と進化していくようなので、あと、2～3年間のプロダクトはこれにそったものになるのでしょう！
そして、V3 の検討を始めている感じですかね。
