Vengineerの妄想

人生を妄想しています。

Groqの新しい資料から V2-LPU 2nd Gen System がある模様

はじめに

下記に、LLM Inference超絶速い Groq に関する資料を見つけました。

この資料の中に、V2-LPU 2nd Gen System みたいなものがありましたので、記録に残します。

2nd Gen System と 3rd Gen System については、下記のブログにて妄想しました。

vengineer.hatenablog.com

2nd Gen System と 3rd Gen System

下図は、上記のブログにも載せた図です。説明のために引用します。

  • 2nd Gen System : 32 V1-LPU
  • 3rd Gen System : 336 V2-LPU

になっています。

V2 2nd Gen System

上記の新しい資料のP.115(残念ながらアクセスできなくなりました) に以下の図がありました。説明のために引用します。

上記の

  • 2nd Gen System : 32 V1-LPU
  • 3rd Gen System : 336 V2-LPU

の間に、

  • 2nd Gen System : 32 V2-LPU

なるものも存在します。

V1-LPU と V2-LPU の違いにより、Single Core Cluster 内の LPU 数が違うようです。

  • V1 : 4,128 x LPU (33 Racks)
  • V2 : 40,968 x LPU (320 Racks)

V1からV2にすることで、約10倍のLPUになります。

そして、もう一つ。Silicon Generation のところに、赤い四角があるのですが、3rd Gen System のところだけ、赤い四角が4つになっています。

これは妄想ですが、

  • V2 : 1 chip
  • V2 : 4 chips

という構成ができ、新たに登場した V2 2nd Gen は V2 を 1 chip 構成にして、V1 2nd Gen System と同じような構成だけど、Single Core Clusterでは約10倍の規模にできる。

V2 3rd Gen では、4 chips の構成になるので、その前に、1 chip でシステム構築して、世にリリースする

というフェーズが入ったのでしょう!

2nd Gen System の話は、下記のブログに書いた時期(2023.11)なので、最初の資料の 2024.6 の半年間に追加されたのでしょうか?

vengineer.hatenablog.com

おわりに

Groqの 2nd Gen System は、

  • V1-LPU 2nd Gen System
  • V2-LPU 2nd Gen System
  • V2-LPU 3rd Gen System

と進化していくようなので、あと、2~3年間のプロダクトはこれにそったものになるのでしょう!

そして、V3 の検討を始めている感じですかね。

vengineer.hatenablog.com