はじめに Groqですが、超速いLLMで絶好調です。 vengineer.hatenablog.com Groqの次の作戦はどうなっているのかな？と思って調べたら出てきました。 下記のビデオにありました。 www.youtube.com V2 は、2025年 上記のビデオの最後に出ていたのが下記のスライド。説明のために引用します。 超高速Groqの次のチップ V2 は、2025 4nm で北米に投入と 2024年は、22万 LPUs 2025年は、100万 LPUs おわりに…

…s Systems・GroqHBMを搭載しているAIアクセラレータ・Google Cloud TPU・Hanaba Gaudi・Intel NNP-T https://t.co/MwjsIC7JUF— Vengineerの妄想(準備期間) (@Vengineer) 2019年11月16日 DRAMを搭載していないAIアクセラレータ 2019年11月時点では、 DRAMを搭載していないAIアクセラレータ Graphcore Cerebras Systems Groq こちらは、…

…に 今日のブログは、Groq についてです。 下記の eetimes の記事からです。 www.eetimes.com かなりスゴイ 既に、Groq カスタマとしては、 70,000 開発者登録 19,000 アプリケーション そして、LPUに関しては、 42,000 台設置 今年は、220,000 台設置 14nmの725mm2サイズのものが 220,000 台って、NVIDI P100 の TSMC 16nm で 610 mm2 、NVIDIA V100、TSMC 12n…

はじめに GroqRackの裏側の写真がXの投稿として、流れてきたもの、記録のためにブログに残します。 GroqRack That's a strong-looking GroqRack™ right there, don't ya think? Serving up tokens faster than anyone. We're building A LOT more hardware and increasing capacity weekly. Scaling to …

はじめに 昨日のGroqp祭りに便乗したことにより、昨日のブログのアクセスが1,554と通常の2～3倍になりました。 vengineer.hatenablog.com また、Google からの流入が増えているので、Groq で Google検索してみたら、なんと、2番目に出るようになっていました。当分、変らないでしょうね。 今日は、groq.com の chat で動いている LIama 2 70B は、どのぐらいのお値段で動くかを妄想したいと思います。 LIama 2 7…

…めに Xの投稿にて、GroqのLLM Inferenceが超絶速いというのが流れてきます。 groq.com にアクセスすると、 Mixtral 8x7B-32K LIama 2 70B-4k が動きます。デフォルトは、Mixtral 8x7B-32K のようです。 とりあえず、質問してみました。 GroqのTSPがLLM推論で速い理由を2000文字程度で説明してください。 458.03 T/s 回答 Groq's Tensor Streaming Processor (TS…

…a Systems Groq Tenstorrent ですが、Xの投稿を見る限り、 Groq が一番盛り上がっています。これ、何でかな？と思っていました。 Xに投稿した下記のもの、 The Nextplatformの下記の記事を読んで思ったことSambaNovaはAI Cloud学習はNVIDIAに勝てないので諦めてAI Cloud推論にPivotしたhttps://t.co/TOJPWbhYTI— Vengineer＠ (@Vengineer) 2024年2月17日 Gra…

はじめに 下記の Groq の Sep. 7, 2023 の Groq day のビデオを眺めていたら、新しいチップと新しいシステムの情報があった www.youtube.com 新しいチップ Samsung 4nm で開発しているっぽい。ここには、外部にDRAMを接続するという情報はないですね。 2021年7月にHBM付のチップを開発しているようなスライドがあったのですが。 vengineer.hatenablog.com ここでは、 Advanced process En…

…$710M (2020.12) Cerebras $450M (2020.11) Groq $367M (2021.04) Tenstorrent $334M (2023.08) あたし的には、今からチップを作っても、お得なことはあまりなさそうです。。。 追記)、2023.10.12 MicrosoftのAthenaチップのことを言っているのかな？ texal.jp 関連ブログ vengineer.hatenablog.com vengineer.hatenablog.com

…(2020.11) Groq $367M (2021.04) Tenstorrent $334M (2023.08) 7nm のプロダクト開発に $200M - $300M かかると考えると、SambaNova Systems の SN10/SN30 (7nm) を2回開発しても、$500M - $600M ぐらいはありそうなので、5nm を開発したのだと思います。 Graphcoreは、16nm/7nm/WoW の3つのプロダクトを開発しているので、$200Mぐらいしか残っ…

はじめに Groq が The Language Processing Unit なるものを発表しました。 futurumgroup.com Groqのプレスリリースは、こちら www.prnewswire.com The Language Processing Unit (LPU) 上記の記事によると、 LLM Llama-2 70B を１秒あたり100トークン以上の実行ができるようです。そして、4,000後のエッセイを1分強で生成できるようです。 ちなみに、GPUでは、 …

…Grendel、Ascalonなどを開発してきたんだと思います。 おわりに SambaNova $1132M (2021.04) Graphcore $710M (2020.12) Cerebras $450M (2020.11) Groq $367M (2021.04) Tenstorrent $234M (2021.05) => $334M (2023.08) のように、ここ2年間、追加資金調達が無かったですが、Tenstorrentの $100M でどうなるでしょうか？

…を考えました。 ( GroqとTenstorrentは、TSMCではなく、Global Foundries の 12nm/14nm) この時点ではまだChatGPTが出ていなかったです。 AIバブルが生成AIバブルへ ChatGPTが出て、期待以上の成果が出ているということで、世界中が生成AIにフルベットするような流れになりました。 その為、NVIDIAのGPU (A100, H100) への需要が高まり、オーダーしてもいつ納品されるかもわからない状況のようです。 下記のツイ…

…P of Engineering の人が辞めるということは、もうプロダクトを作らないということになるんでしょうかね。。。 おわりに 来年(2023)、AI Chip バブルはどうなるんでしょうかね。 機械学習向けプロセッサは Habana Labs (Intel とは別ブース)、 GraphCore, Celebras, Groq。来年の SC まで生き残れるのはどこから?みたいになってきており、、、— Jun Makino (@jun_makino) 2022年11月16日

…Computing Groq Microsoft BrainWave AWS EC2 F1 Baidu XPU これらがどうなっているのかを振り返ってみます。 会社が無くなっているとこ Intel Nervana (EOL) Knuedge (無い) Wave Computing (IP屋さんになってしまった) プロダクトが継続されていない？ Microsoft BrainWave 生き残っているところ Graphcore : IPU MK1 (2018: TSMC 16nm…

…e (6nm) - Groq : $367M (2021.04)、GroqChip1 (14nm) => GroqChip2 (HBM2) 上記のStartupの5社の資金調達額は、$2600M以上です。 ちなみに、Intelに買収された Habana の買収額は、$2B (2019.12) です。Gaudi (16nm) 買収後、Gaudi2 (7mn) を開発しています。 vengineer.hatenablog.com now Graphcore is in troub…

…、下記のような感じ。Groqを入れているのは学習チップを開発しているとあたしは予測しているため。 会社名 資金調達調達 SambaNova $1132M(2021.04) Graphcore $710M (2020.12) Cerebras $450M (2020.11) Groq $367M (2021.04) Tenstorrent $234M (2021.05) Intel Habana $2B (Intel買収2019.12) 7nm を超えると、Logic/SRAM…

…会社Altera (Intel)Arm (Softbank)Nervana Systems(Intel)Hanbana (Intel)Rocketick TechonologiesXilinx (AMD)Deephi (Xilinx)Legup Computing (Microchip)Maxeler Techonologies (Groq)Codeplay (Intel)ArrayFire (Intel)— Vengineer＠ (@Vengineer) 2022年9月9日

はじめに Groqの公式Tweet から If you missed @DennisAbts, Chief Architect and Fellow, at @HotChipsorg, check out his presentation on the Groq Software-Defined Scale-out Tensor Streaming Multi-Processor and many other @GroqInc videos on our YouTube ch…

はじめに Groqの新しいビデオがアップされました。 Stanford Seminar - Dataflow for convergence of AI and HPC - GroqChip! www.youtube.com GroqChip-1 ではなく、GroqChip-2の情報もありそう。 54分頃の下記のスライドでは、 25Gbps x 4lanes x 2 dir x 32links = 800 GB/s とあります。GroqChip-1(TSP) では、16Gbp…

はじめに Groqが自社イベント、GroqDay December 20201 を開催しました イベントのビデオが Youtube で公開されています。 GroqView Profiler www.youtube.com Reinventing Compilers for A www.youtube.com Why LSTMs? www.youtube.com Linear Algebra www.youtube.com Natural Language Processing…

…a Systems Groq がそれぞれ、クラウドサービスを提供しています。 eetimes.itmedia.co.jp www.graphcore.ai sambanova.ai vengineer.hatenablog.com Tenstorrent も クラウドサービスの準備を始めた Tenstorrentもクラウドサービスを始めたようです。これで、資金調達トップ5のクラウド用AIチップベンチャーがクラウドサービスを始めたわけです。 @tenstorrent Cloud…

…a Systems Groq Graphcore AMD Intel は、Chip ではなく、最低でもRack Systemを提供する、AI System なるものを提供しています。 おわりに 2021年、クラウド用AI学習チップは、クラウド用AI学習システムになりました。 この後、数年の内に、上記のシステムのどれが生き残るかはわかりませんが、いづれ、3-4社になるんじゃないのかな？と思っています。 この中では、再来年(2023年)に出てくる NVIDIA の GRACEです…

…(2020.11) Groq $367M (2021.04) TensTorrent $234M (2021.05) ちなみに、Intelが買収した Habana Labs は $75Mの資金調達して、$2B で買収されましたが、その時に開発していたGoyaとGaudiの後のプロダクトのアナウンスもなく、Intelの新しいGPUが出ればほぼお役目終了というイメージです。 Intel Habana $75M (2019.12、Intelが$2Bにて買収) おわりに 今朝、Twi…

…まった はじめに Groqは、Google TPU v1 の開発メンバーが立ち上げた会社。TSPという外部にDRAMを持たないASICを開発しています。 プロセスは、14nm (たぶん、Global Foundries) です。Tenstorrent も Global Foundriesの 14 nm を使って推論用の Grayskull、学習用の Wormhole を開発しています。 どうやら、Global Foundries の 14nm って、SRAMの消費電力が少ない…

…020.11.19)Groq：$367M, (2021.04.16)おまけTensTorrent：$34M, (2020.02)Simple Machine Inc. 情報が無いっす。— Vengineer＠ (@Vengineer) 2021年4月16日 4社はすべて、チップ、ボード、システムを公開しています。Simple Machie Inc. に関しては、チップとボードのみ公開しています。 おわりに 勉強会で最先端プロセスでチップ作るには、100憶円無いとね。とか言って…

…linxを辞めた後、Groq に移りましたが、1年4カ月で Groqを辞め、Sima.ai の ほかのメンバーと一緒に創業し、CEO になっています。SiMa.ai の サイトのアプリケーションのページを見てみると、次の3つをアプリケーションとして考えています。 Untethered robots ( As opposed to 100-300W qith competing solutions) An all-electric vehicle world ( As oppo…

…: 2 cores Groq : 1 core と分類しています。NVIDIA A100 の 112cores は何をもってコアとしているのがよくわかりません (Streaming Processor なら 108 個なのですが)コアとは違うプログラムが動く単位ということのようで、それなら、NVIDIAのGPUは基本的には1コアだと思うのですが。。。この中には、Samba Nova と Tenstorrent が載っていません。 Samba Nova は、640 PMUs a…

…Verilogの世界へようこそ、すべては、SystemC v0.9公開から始まった Groqのブログでは、AI Summit での CEO のJonathan Rossの講演ビデオがあります。 その中に、MarvellのASIC GroupのCTOのメッセージがあったので、なんでかな？と思っていたら、 groq.com この記事によると、ASICは、Marvellで開発した模様。。 Marvellの一時期、危なかったのですが、いつの間にか復活していましたね。 ascii.jp

…9公開から始まった GroqのPCIeボードを8枚刺したサーバーを正式アナウンス www.nextplatform.com PCIeボード、初期のものとかなり変わっているっぽい。 電源コネクタも3つ付いている。 ホストは、AMD Rome。何故なら、PCIe Gen4 をサポートしているのは現時点、AMDだから、Xeonはまだ。NVIDIA A100 DGX もそう。 下図は、URL組み込みで引用しています。 1つのRomeに4個のGroqボードが接続しています。 4個を2組…