はじめに
TwitterのTLに流れてきた@Ritika_Borkar san のこのスレッド、記録のための残します。
AI用のASICを開発するというんは、どうなの？というお話
Semiconductor #VentureCapital easily bought the idea of ASICs replacing GPU for AI, based on the argument that GPUs were primarily built for graphics & would not be efficient for AI in the longer run.
— Ritika Borkar (@Ritika_Borkar) 2021年8月24日
Lets bust that myth (1/n)
2番目のツイートのこの部分。そうなんですよ、ハードウェアよりもソフトウェアなんですよ。
Hard thing about Hardware is actually Software.
Hard thing about Hardware is actually Software.
— Ritika Borkar (@Ritika_Borkar) 2021年8月24日
2016 saw a Cambrian explosion of AI chip startups raise their 1st VC rounds. 5 years later, most startups have launched their 1st gen. chip but are still struggling to build a robust SW stack to support diverse AI workloads (2/n)
3番目のツイート。NVIDIAはCUDAを2006年に投入。今年で15年。
NVIDIA introduced CUDA in 2006 to leverage GPUs for computation.
NVIDIA introduced CUDA in 2006 to leverage GPUs for computation.
— Ritika Borkar (@Ritika_Borkar) 2021年8月24日
Since then applications in astronomy, biology, chemistry, physics, data mining, manufacturing, finance & other computationally intense fields have used CUDA to accelerate computation (3/n)
4番目のツイート。GPUは DL(AI) に使われる前までも 計算をたっぷりやるワークロードをいろいろとやっていて、GPUのSWでは10年以上改善を続けているですよ。
GPUs have been positioned for compute intensive workloads for a long time, much before the advent of DL (often misspoken as AI) which is just another compute intensive workload
— Ritika Borkar (@Ritika_Borkar) 2021年8月24日
GPU SW stack has kept on improving release-after-release over the last decade & a half (4/n)
という感じで、10/n の次の n/n で終わります。
今年のHotchips 33 では？
今年のHotchips 33では、WSEベースのシステムを開発・販売している Cerebras Systems は、第2世代のWSEである CS-2 の販売を開始したというアナウンスとともに、MemoryXなる装置を発表しました。このMemoryXなるものについては、明日のブログにて書きます。
WSEを使えば、モデルを全部入れられるという気持ちで開発してきたが、モデルの規模が想定以上のスピードで大きくなり、WSEをもっても入らなくなっちゃった。そこで外部にMemory PoolとなるMemoryXを投入するということになったのではないでしょうか？
CS-2のアナウンスは昨年のHotchips 22です。それから1年で CS-2 だけでなく、MemoryXとSwarmXという装置を発表することになった。このことは、先ほどのTwitterのスレッドに書いてあったことと同じものだと思います。
Cloud用AIチップベンチャーへの投資額
このブログに2021年4月17日にアップした下記の内容
その後、Tenstorrentが追加で資金を調達したことで、次のような感じになっています。
- SambaNova $1132M(2021.04)
- Graphcore $710M (2020.12)
- Cerebras $450M (2020.11)
- Groq $367M (2021.04)
- TensTorrent $234M (2021.05)
ちなみに、Intelが買収した Habana Labs は $75Mの資金調達して、$2B で買収されましたが、その時に開発していたGoyaとGaudiの後のプロダクトのアナウンスもなく、Intelの新しいGPUが出ればほぼお役目終了というイメージです。
おわりに
今朝、TwitterのTLに流れてきたもの。Tesla AI Day に関するディスカッション。Tesla Dojo D1 chip (20分頃)についてのディスカッションもあります。Intelに買収され、Habana Labsを買収して、あっさりEOLにされちゃったNervanaSystemsの元CEOのNaveen Rao sanも参加されています。
このディスカッションでも、ソフトウェアが大変だということを Naveen Rao san も述べています。。。。
ということで、ハードウェアはお金があれば作れますが、そのハードウェアが素晴らしいものであっても使いこなすソフトウェアはお金だけではできないんだと思います。ということです。
そんな中で、GraphcoreはHotchips 33にて、下記のようなスライド(AnandtechのHotchips 33の実況中継ログより、引用していますにて、ソフトウェアの改善で処理時間を短縮できているといっているのはいい方向だと思います。
