はじめに
LLM Inferenceが超絶速い Groq。先日、なんと、$640M もの資金調達して、10万台の LPU を導入するという。
下記のブログでも紹介しましたが、2024年では 22万台設置の予定なので、まだまだ増えそうです。
このブログでの Groq の振り返り
このブログに最初に Groq が登場したのが、2017年4月13日
に中で、Google TPU v1 の開発者が Groq という会社を作ったよということを書いています。
Groq This: New AI Chips to Give GPUs a Run for Deep Learning Money TPUのオリジナル開発者10名中8名がGoogleを辞めて、Groq という会社に移ったような。
以下は、Groq と入っているブログです。めっちゃありました。
2017年
- MicrosoftのProject Brainwave、2017.08.28
- ディープラーニング・アクセラレータ、2017-09-05
2018年
- LightMatter、2018-04-28
2019年
- Groq、どうなんだろうか？、2019-09-26
- SiMa.ai なる会社、2019-10-27
- 学習用チップは27社、推論チップは34社で開発していると。、2019-11-05
- Groqがチップを公開、2019-11-18
- NUVIAとは？、2019-11-29
- GroqのTSP(Tensor Streaming Processor)について、ちょこっと。、2019-12-19
- 今年(2019年)を振り返って、2019-12-27
- Cloud Deep Learning Chipsのおまとめスライド、2019-12-31
2020年
- Groqのクラウド用推論チップ：TSPのちょっと詳細、2020-01-15
- GroqのTSPがクラウドで使えるって、2020-01-28
- Mesh TensorFlow の中身を覗いてみた、2020-03-31
- GreenWaves の GAP8 の詳細、2020-04-22
- Groqの推論性能、2020-04-28
- Groqの詳細が公開されました、2020-06-01
- Groq、x8サーバー、2020-10-09
- Groqの開発は、Marvellの模様、2020-10-22
- Linkey Fall Processor Conference 2020 の講演ビデオが公開されている(限定かも)、2020-12-10
2021年
- SiMa.ai の MLSoC (AI Edge デバイス)って、どんなものだろうか？、2021-01-10
- Cloud用AIチップベンチャーへの投資額、2021-04-17
- Groqは、学習用チップを開発している？、2021-07-12
- AI ASIC は、ハードウェアよりもソフトウェアなんですよ。。。。、2021-08-30
- AIは、ChipからSystem に、2021-09-19
- Tenstorrent もクラウドサービスを始めたっぽい、2021-12-14
- GroqDay December 2021のビデオが公開されています、2021-12-25
2022年
- Groqの新しいビデオ、2022-06-09
- GroqのHot Chip 34でのビデオ？、2022-08-31
- Intel Codeplay に続き、ArrayFire を買収、2022-09-13
- Cloud用学習チップは、3nm に移行するか？、2022-09-15
- AIチップのバブルは終わったのか？、2022-10-17
- 2017年の勉強会の資料を振り返る。5年経ってどうなったのか？、2022-11-14
- AI Chip バブルの終わりの始まり？、2022-11-30
2023年
- AIバブルから生成AIバブルへ、Cloud学習チップのスタートアップは生き残れるか？、2023-06-12
- Tenstorrentが$100Mの追加資金調達、2023-08-06
- Groq の Language Processing Unitって、なんだ？、2023-08-22
- SambaNova の SN40L、2023-09-21
- OpenAIがチップを作るの？って、どうなんだろうか？、2023-10-09
- Groqの新しいチップと新しいシステム、2023-10-29
2024年
- 半導体開発で、久しぶりにXの投稿で盛り上がったので、記録に残します。、2024-02-18
- GroqのLLM Inferenceが超絶速い件に対する感想、2024-02-20
- Groq で LIama 2 70B を推論システムとして使った時の規模とお値段を妄想する、2024-02-21
- Groq Rackの裏側、2024-03-02
- Groqの設置台数！42,000、今年(2024年)に、220,000に！、2024-04-08
- DRAMを搭載していないAIアクセラレータのその後、2024-05-06
- Groq 、V2を2025年北米に投入？、2024-05-10
- Groq、追加で$300Mの資金調達か？、2024-05-23
- NVIDIAのData CenterのGPUは量産価格になったの？を妄想してみた、2024-05-28
- Groqの資金調達額($1317M)、SambaNova Systems($1132M)を抜き、トップに！、2024-08-07
- GF 14nm/12nmのWaferコストとGroq/Tenstorrentのチップのお値段を妄想する、2024-08-09
おわりに
Groq、推論に特化したことにより、生き残れている感じですね。
さあ、これからどうなるのでしょうかね。
