…ために引用します。空いている部分になんか小さな die がいっぱい載っています。。。これはなんなんでしょうか？ 他のスライドを見つけました。同じく、tom's Hardware です。 www.tomshardware.com 下図は上記の記事から説明のために引用します。 おわりに SoW、スゴイですね。。。つまり、Tesla Dojo Chip は、Cerebras CS-X と同じようなWaferの使い方をしていたんですね。。。となると、7nm ですから、1万ドルですね。

…Graphcore・Cerebras Systems・GroqHBMを搭載しているAIアクセラレータ・Google Cloud TPU・Hanaba Gaudi・Intel NNP-T https://t.co/MwjsIC7JUF— Vengineerの妄想(準備期間) (@Vengineer) 2019年11月16日 DRAMを搭載していないAIアクセラレータ 2019年11月時点では、 DRAMを搭載していないAIアクセラレータ Graphcore Cerebras S…

…a SystemsとCerebras SystemsはN5のプロダクトを出してきましたが。 さっくとまとめると、 NVIDIA : A100-80GB (N7) => H100-80GB, GH200-96GB, GH200-141GB, H200-141GB (N4) => B100/B200-192GB (N4P) AMD : MI250X-128GB (N6) => MI300X-192GB (N5/N6) => MII350-288GB (N4) => MI400-?…

…artup では、 Cerebras Systems : CS-1 (16nm) => CS-2 (7nm) => CS-3 (5nm) SambaNova Systems : SN10 (7nm) => SN30 (7nm) => SN40L (5nm) 残念ながら、Graphcore は、第二世代までで終わりです。 Graphcore : IPU MK1 (16nm) => IPU MK2 (7nm) = BoW IPU (7nm) これは、IPU MK2 の電源を強化し…

…飛び出ているのは、 Cerebras Systems : CS-1 (TSMC 16nm) Cerebras Systems : CS-2 (TSMC 7nm) です。NVIDIA V100ベースで考えると、84個ぐらいのっているので2桁ずれると考えるとあっていますね。 Xilix FPGA は凄い！ 2020sをみてみると下記の赤丸は Xilinx Versal VP1802 です。 2010s をみてみると下記の赤丸(右)は Xilinx Vertex Ultrascal…

…に 先日発表があったCerebras SystemsのCS-3については、下記のブログに書きました。 vengineer.hatenablog.com 今日の半導体チップ雑談では、この CS-3 についてお話します。 そして、Cerebrasが Cerebras AI Day 2024 というプライベートイベントを開催し、その模様が Youtube にアップされたのの覗いてみました。 Cerebas AI Day 2024 下記の Hardware Keynot - Sean…

はじめに Cerebras SystemsがCS-3を発表 www.cerebras.net 概略は、 発表日 : 2024.3 46,225 mm2 silicon 4 Trillion transistor AI optimizd cores 900,000 44 Gigabytes on-chip memory 21 Petabyte/s memory bandwidth 214 Petabit/s fabric bandbidth Process technology…

…ると思いますが、チップが2倍になってもメモリが無いので $1,000 でPCIe Cardは作れそうです。 となると、568個でも、$568,000 になり、GroqNodeのホスト側のコストを考えても、$1M ぐらいでは？と思っています。売値は2-3倍として、$2-3M。 ということで、$2-3M で LIama 2 7B を超絶速く使いたいユーザは居そうですかね。 Cerebras SystemsのCS-2 (内部SRAMは、40GB) ぐらいの価格帯ではないでしょうか？

…=> ほぼ終了状態 Cerebras Systems SambaNova Systems Groq Tenstorrent ですが、Xの投稿を見る限り、 Groq が一番盛り上がっています。これ、何でかな？と思っていました。 Xに投稿した下記のもの、 The Nextplatformの下記の記事を読んで思ったことSambaNovaはAI Cloud学習はNVIDIAに勝てないので諦めてAI Cloud推論にPivotしたhttps://t.co/TOJPWbhYTI— Ven…

…MicrosoftがCerebras Systemsを利用したサービスを提供するというようなことをやっているようですが => ここ) おわりに Microsoft が Maia 100 を発表し、2024年前半にAzure Data Centerに導入すると発表したことにより、大手Cloud ServiceにスタートアップのAI Chipが採用される目は無くなってしまいました。 となると、スタートアップが独自にCloud Serviceを提供することになりますが、コスパで大手…

…$710M (2020.12) Cerebras $450M (2020.11) Groq $367M (2021.04) Tenstorrent $334M (2023.08) あたし的には、今からチップを作っても、お得なことはあまりなさそうです。。。 追記)、2023.10.12 MicrosoftのAthenaチップのことを言っているのかな？ texal.jp 関連ブログ vengineer.hatenablog.com vengineer.hatenablog.com

…(2020.12) Cerebras $450M (2020.11) Groq $367M (2021.04) Tenstorrent $334M (2023.08) 7nm のプロダクト開発に $200M - $300M かかると考えると、SambaNova Systems の SN10/SN30 (7nm) を2回開発しても、$500M - $600M ぐらいはありそうなので、5nm を開発したのだと思います。 Graphcoreは、16nm/7nm/WoW の3つのプロ…

…Grendel、Ascalonなどを開発してきたんだと思います。 おわりに SambaNova $1132M (2021.04) Graphcore $710M (2020.12) Cerebras $450M (2020.11) Groq $367M (2021.04) Tenstorrent $234M (2021.05) => $334M (2023.08) のように、ここ2年間、追加資金調達が無かったですが、Tenstorrentの $100M でどうなるでしょうか？

はじめに Cerebras SystemsがG42と「Condor Galaxy system 」を発表しました。 www.g42.ai Condor Galaxy system Condor Galaxy Systemのサイトは下記。 www.condorgalaxy.ai Condor Galaxy 1 (CG-1) の仕様は、 64 x CS-2 です。 下図は、サイトから説明のために引用します。 CG-1 is the first of three 4 exaFLOP…

…Graphcore、Cerebras)を開発していきます。その後、チップが出来上がり、システムとして組み上げ、量産し、販売するまでに200-300億円ぐらい必要になることがわかりました。 TSMC 7nmを使って、NVIDIAのA100を2020年に出します。その後、Graphcore、Cerebras、SambaNova がTSMC 7nmのチップを出します。 同じようにシステムとして、組み上げ、量産し、販売するまでに200-300億円が必要になります。 つまり、TSMC …

…raphcore, Cerebras Ssytems は、TSMC 7nmで半導体を開発していて、次は 5nm/4nm ではなく、3nm に移行するか？という点を考えました。 ( GroqとTenstorrentは、TSMCではなく、Global Foundries の 12nm/14nm) この時点ではまだChatGPTが出ていなかったです。 AIバブルが生成AIバブルへ ChatGPTが出て、期待以上の成果が出ているということで、世界中が生成AIにフルベットするような流れ…

…let 構成になっています。 メモリは、LPDDR5からGDDR6になっています。CPU chiplet 側もGDDR6になっています。先に開発する GDDR6 chiplet を使うだけなのか？その後は、LPDDR5 chiplet を開発するかまではわかりません。 おわりに Graphcore、SambaNova、Tenstorrentと日本法人ができました。Cerebrasは東京エレクトロンが代理店。 さあ、どうなることやら。。。 関連記事 www.forbes.com

はじめに Cerebras Systems の WSEの中のPEのプログラムってどうなっているのか？ずーと、謎でしたが、先日、Google君に色々と聞いていたら、出てきました。 Cerebras Software Language (CSL) で、Zig という言語をベースにしているようです。 Cerebras SDK The Cerebras Software Development Kit: A Technical Overviewに、Cerebras Software …

はじめに Cerebras Systemsの公式Twitterに、CS-2のWaferの写真がアップされました。 Some #wafer-scale eye candyWhen performance is everything, the best #memory hierarchy is no memory hierarchy at all!The Cerebras Wafer-Scale Engine has 40GB of #sram evenly distribute…

…るんでしょうかね。 Cerebras Systems をみてみる WSEを開発販売しているStart upのCerebras Systemsをみてみます。Cerebras Systems は下記のように資金を集めています。 Series A : 2016.5 : $27M Series B : 2016.12 : $25M Series C : 2017.1 : $65M Series D : 2018.11 : $81M Series E : 2019.11 : $272M…

はじめに Cerebras Systems が GPT 系のモデルの学習のために必要な費用を公開しています。 www.zdnet.com どのぐらいするの？ 下図は、上記の記事からの引用です。 GPT3-XL : 1.3B parameters で、0.4 日、$2,500 GPT-3 6.7B : 6.7B parameters で、11 日、$40,000 GPT-3 13B : 13B parameters で、39日、$150,000 GPT 70B : 70B pa…

…位の SambaNova Systems Cerebras Systems Graphcoe Tenstorrent Groq は、残っています。。。 来年は景気後退するという見方が多くなっています。 売り上げが上がらないと次の開発はできないので生き残れません。 とうとう始まりますのでしょうか。。。バブルの終了 P.S Simple Machine もなくなりました vengineer.hatenablog.com 関連ブログ vengineer.hatenablog.com

…MK2ベース) - Cerebras : $450M (2020.11)、CS-1 (16nm)、CS-2 (7nm) - Tenstorrent : $234M (2021.05)、Wormhole (GF 12nm?) + GDDR6、Blackhole (6nm) - Groq : $367M (2021.04)、GroqChip1 (14nm) => GroqChip2 (HBM2) 上記のStartupの5社の資金調達額は、$2600M以上です。 ちなみに、Inte…

…(2020.12) Cerebras $450M (2020.11) Groq $367M (2021.04) Tenstorrent $234M (2021.05) Intel Habana $2B (Intel買収2019.12) 7nm を超えると、Logic/SRAM の density はそれほど増えない 下記のツイートにて。GraphcoreのSimon -san のプレゼン資料を見るとわかりますが、7nm (2018)ぐらいまではプロセスが進むと、Logic/S…

…Switch と接続しています Model Execution は下記のようになっています。 Tenstorrent Cerebras CS-1/2 と基本的にはおなじですね。 入力データの流れ バッチに対しては、こんな感じ おわりに Tesla Dojo の全貌がわかりました。 HOST SYSTEM とは、DIP経由で接続 (PCIe Gen4 x16 を5組)、これがいっぱい DIPには、Ethernetが付いていて、Ethernet Switch 間でデータ転送を行う

はじめに Cerebras Systemsの このツイート .@ComputerHistory Honors Cerebras Systems with New Display for Wafer-Scale Engine https://t.co/O8JD2O5QwH #FearlessEngineering #Innovation #AI #exhibits pic.twitter.com/t4X2LrPclZ— Cerebras Systems (@CerebrasSy…

…chio 9/12 Cerebras SystemsのMemoryXとSwarmX 9/19 AMDのGPGPU、MI100とMI200 9/26 XilinxのVersa 10/3 SiFive 10/10 Intel Gen12 CPU 10/17 Ampere Computing 10/24 Apple M1 Pro/M1 Max 10/31 TSMCの売り上げ 11/7 Google Pixel 6/6 Proに搭載されているGoogle Tensor 11/14 A…

…memory cache er memory plane CPU victim cache Home node owns coherency transaction table (CTT) and directory 2.1GHz、Vnom=0.75 95W 107 mm2 (4nm) おわりに 今年出る Black Hole が本命のようですが、どうなんでしょうかね。。。Graphcore や Cerebras system と比べると、ちょっと遅れている気がしますが。。。

…サイズを超えている。Cerebras SystemのWSEのように、1つの silicon die の上に、2つのdie を接続しているのかな？どうなんだろうか？ A100では、6個のHBM2eが接続しているが、Hopperは8個のHBM2eが接続してそう。 Cerebras Systems の WSEから算出してみる WSE/WSE2の die size は、46,255 mm2。1辺 215mm 。12 x 7 の構成になっているので、30.7 mm x 17.9 mm …

…ップを開発している Cerebras Systems Graphcre SambaNova Systems Groq がそれぞれ、クラウドサービスを提供しています。 eetimes.itmedia.co.jp www.graphcore.ai sambanova.ai vengineer.hatenablog.com Tenstorrent も クラウドサービスの準備を始めた Tenstorrentもクラウドサービスを始めたようです。これで、資金調達トップ5のクラウド用AIチ…