Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう!

AIは、ChipからSystem に

はじめに

2017年頃からクラウド用AI学習チップの開発が始まったと思います。

ここからは、ちょっと思い出話として、

あたしもGoogleがTensorFlow 1.0のリリースのタイミングでたまたま知った XLA という技術。 それまで、ディープラーニングPythonには、興味を持てませんでしたが、このXLAという技術があたしの心に刺さりました。

その時のブログが、2017年2月20日の「XLAの衝撃」です。

vengineer.hatenablog.com

そして、TensorFlowのコード解析をして、TensorFlow User Group ハード部 #2 (2017年4月21日)で発表することになりました。

vengineer.hatenablog.com

その後、インターフェース8月号に記事を書きました

vengineer.hatenablog.com

8月には日経エレクトロニクスの取材を受けたりもしました。

vengineer.hatenablog.com

9月4日の Deep Learning Accelaration 勉強会での出会いがあり、

vengineer.hatenablog.com

Chainer Meetup#6で、TensorFlow XLAとハードウェアなる発表をしました。

vengineer.hatenablog.com

その後も続きます。

ということで、2017年にクラウド用AI学習チップの開発が盛んになったわけです。

2021 年は、The AI System に

エントリフィーが1599ドルと、個人ではなかなか参加できない AI Hardware Summit 2021 での Cambrian-AI Research なる 会社のKarl Freundさんの講演がYoutubeで公開されています。 いろいろとあるのですが、最初のスライド(説明のために引用します)が2021年を物語っています。

f:id:Vengineer:20210918111040p:plain

  • NVIDIA : GRACE
  • Cerebras Systems
  • SambaNova Systems
  • Groq
  • Graphcore
  • AMD
  • Intel

は、Chip ではなく、最低でもRack Systemを提供する、AI System なるものを提供しています。

おわりに

2021年、クラウド用AI学習チップは、クラウド用AI学習システムになりました。 この後、数年の内に、上記のシステムのどれが生き残るかはわかりませんが、いづれ、3-4社になるんじゃないのかな?と思っています。

この中では、再来年(2023年)に出てくる NVIDIA の GRACEです。来年出てくるGPU Ampere Next では、x86-64 システムで使われることになりますが、2024年GRACEが出てくると、x86-64からこのGRACEに変わり、もしかしたら、今までのNVIDIA DGXも x86-64からGRACEに置き換わっていくかもしれません。。。。