はじめに
学習用AIチップをTSMC 7nmで開発するには、100億円必要だよね。とお話したのが2017年頃
- TensorFlow XLAの可能性, Deep Learning Acceleration 勉強会(2017.09.03
- TensorFlow XLA とハードウェア, 2017年9月30日(土)のChainer Meetup #6
ざっと、6年前。この頃はまだ 7nm でチップが出てきてない時です。
その後、AI Cloud学習用スタートアップが何社立ち上がります。AI Cloud学習用スタットアップでは、7nmではなく、16nmで最初のチップ(Graphcore、Cerebras)を開発していきます。その後、チップが出来上がり、システムとして組み上げ、量産し、販売するまでに200-300億円ぐらい必要になることがわかりました。
TSMC 7nmを使って、NVIDIAのA100を2020年に出します。その後、Graphcore、Cerebras、SambaNova がTSMC 7nmのチップを出します。 同じようにシステムとして、組み上げ、量産し、販売するまでに200-300億円が必要になります。
つまり、TSMC 7nmベースにシステムでビジネスを行うには、200-300億円が必要だったのです。
AIブームから生成AIブームへ
2022年までのAIブームが終わり、2023年は落ち着くのかな？と思っていましたが、OpenAIのChatGPTが世界的に盛り上がり、生成AIブームになりました。
その生成AIブールに乗るためにはそれなりの道具が必要です。その道具として一番人気があるのがNVIDIAのH100です。
下記のSmiAnalysisの記事によると、
The highest-end Nvidia GPU, H100, will remain sold out until Q1 of next year, despite Nvidia’s attempts to increase production drastically. Nvidia will be ramping to ship more 400,000 H100 GPUs per quarter.
のようです。H100は来年のQ1まで売り切れが続く。つまり、買いたくても買えない状況です。
Inflection AI
Inflection AI が 22,000台のH100を導入するというアナウンスがありました。
$1.3Bの資金調達をし、22,000台のH100を導入すると。
H100を仮に $30,000 とすると、22,000台だと、$660,000,000、$660M で 1000億円以上、GPUだけではシステムは作れないので、上記の $1.3B でシステムを構築するんでしょうね。
22,000台となると、DGX H100 SuperPODのようなものではなく、Super Computerのような構成になるんだと思います。何故なら、NVIDIA NVLinkは256台しか繋げられないので。
Super ComputerのAuroraは、21,248個のXeon CPUと63,744個のGPUで2ExaFlopsを超えるものです。IntelのこのGPUはNVIDIAのA100程度の性能なので、H100とA100の性能比を仮に3倍とするとほぼ同じ性能になります。
つまり、LLMをガチで学習することを考えると、世界トップレベルのSuper Computerを作るということになるようです。
おわりに
LLMで勝負するには、1000億円は必要そうですね。
で出資された $1.3B ですが、下記のTHE NEXTPLATFORM の記事によると、Inflection AIのCo-Founderの一人である Reid Hoffman は MicrosoftへのLinkedinの売却資金($2.84 billion)にて個人的に出しているようです。。
なんか、桁が何桁も違うというのが凄いですね。。。。 www.nextplatform.com
