Vengineerの妄想(準備期間)

人生は短いけど、長いです。人生を楽しみましょう!

Habana Labsの開発ツール(SynapseAI CoreとTCP用LLVM)のソースコードが公開されたよ。

はじめに

Intelが買収したHabana LabのGaudiがAWSで利用できるようになっているようですね。

habana.ai

上記のブログによると、AWSのGaudi x8 のシステムは、A100-40GB x8、V100-32G x8、V100-16GB x 8 に対して、

  • ResNet50 Training :
  • BERT Training

で、コスパが 2 - 2.5 倍いいようです。

Gaudi は、TSMC 16nm、NVIDIA V100は TSMC 12nm、A100は TSMC 7nm。なので、かなりいい性能なんでしょうね。

とは言え、今やResNet50やBERTをTraiingすることもあるのかは?疑問ですが。。。

そして、Habana Labは、Gaudi2 を TSMC 7nm で開発しているので、コスパはもっと良くなると思います。

vengineer.hatenablog.com

ソースコードが公開されていた

Hanaba Lab の Goya/Gaudi に対するソフトウェアとしては、

は、既に公開されていたのですが、なんと、

も 2021年9月10日にアップされていました(公開されたのがこの日なのかはわかりません)

調べてみたら、Habana Labs Opens Up The Code To Their AI Compiler, SynapseAI Coreがありました。この記事は9月10日なので、やっぱり9月10日にアップされたようです。この記事によると、最適化の部分はまだ公開されていないとなっています。この時点では、v1.0 です。

DeveloperのサイトのSynapseAIのところを確認したら、下記のように 2021年10月21日に、1.10 をリリースしたようです。

habana.ai

  • PyTorch 1.91
  • TensorFlow 2.51/2.60

をサポートしているようですね。リリースノートは、こちら

おわりに

Intel の次世代GPUである Ponte Vecchiro が正式に出てくる来年2022年。それまでは、Habala LabのGaudiは IntelのAI用アクセラレータとして使われるとは思うのですが、その後、どうなるのだろうか? AI用アクセラレータで、2世代までを作ったのは、

  • Graphcore : GC2/MK1 (TSMC 16nm)、GC200/MK1 (TSMC 7nm)
  • Cerebras Systems : CS-1 (TSMC 16nm)、CS-2 (TSMC 7nm)

そして、

  • Halaba Labs の Gaudi (TSMC 16nm) と開発中の Gaudi2 (TSMC 7nm)

しかないんですよ。

なので、とっても気になっています。