Vengineerの妄想

人生を妄想しています。

AIアクセラレータ、第3世代が勝負どころか？

はじめに

Intel Habana Gaudi 3の詳細が出てきたことはこのブログでも紹介しました。

GPUを含めたAIアクセラレータ。第3世代目が勝負どころでは？と思っています。

第3世代を見てみる

  • NVIDIA : P100 (16nm) => V100 (12nm) => A100 (7nm)
  • AMD : MI100 (7nm) => MI200/MI210/MI250 (6nm) => MI300X (5nm/6nm)
  • Intel Habana : Gaudi (16nm) => Gaudi 2 (7nm) => Gaudi 3 (5nm)

AI Cloud Chip Startup では、

  • Cerebras Systems : CS-1 (16nm) => CS-2 (7nm) => CS-3 (5nm)
  • SambaNova Systems : SN10 (7nm) => SN30 (7nm) => SN40L (5nm)

残念ながら、Graphcore は、第二世代までで終わりです。

  • Graphcore : IPU MK1 (16nm) => IPU MK2 (7nm) = BoW IPU (7nm) これは、IPU MK2 の電源を強化したものなので第二世代

この中で、NVIDIAだけ、7nm 。AIアクセラレータと考えると、TensorCoreを入れたV100を第一世代とすると、

  • NVIDIA : V100 (12nm) => A100 (7nm) => H100 (4nm)

となり、同じ感じなんでしょうかね。

想定外だった、SRAM

TSMCが 3nm では、5nm に対して、SRAMのサイズはあまり小さくならないよ、宣言によって、辛くなっている感じ。

となると、第4世代 (TSMC 3nm) では力業、つまり、いっぱい詰め込む、では無理そう。。ということで、5nm からは 2 die 以上で攻めている感じです。

  • AMD MI300X : die たくさん
  • Intel Habana Gaudi 3 : 2 die
  • SambaNova Systems : SN30, SN40L : 2 die

そして、NVIDIAも H100までは 1die でしたが、B100では 2 die

おわりに

5nm ベースの AI アクセラレータが出そろいました。性能的には、NVIDIA H100/H200 程度にはなっているようです。となると、あとはお値段ですね。H100 の $30,000 に対して、AMD MI300X は $15,000 という話も出ているようなので、性能はほぼ同じで AIアクセラレータは半分。とは言え、1ボードで済むことがないので、Node単位だけでなく、Cluster単位でのお値段に比較が必要ですね。

基本、$1M を考えないといけないので、あたしの世界観ではもうすでに、どこかに行ってしまいました。。。。さようなら。