はじめに 昨日、Google TPU v5e に関するブログを書きました。 vengineer.hatenablog.com その中で、v5e では、Multislice Technology なるものが出てきました。 Googleは、これについて、Overview を公開していました。 Cloud TPU Multislice Overview [Pub…

はじめに XのTLに流れてきた下記のツイート。Intel GPU (Ponte Vecchio) の die っぽいです。 The base tile of Ponte Vecchio. They put eight Compute Tiles and four times Rambo Cache (the middle lines) on there.Another shot with the Compute Tiles…

8月の映画鑑賞 : 24本 7月の映画鑑賞 : 25本 6月の映画鑑賞 : 20本 5月の映画鑑賞 : 29本 4月の映画鑑賞 : 20本 3月の映画鑑賞 : 27本 2月の映画鑑賞 : 17本 1月の映画鑑賞 : 20本 2007年3月から2022年12月まで : 3348本 + 2023年1月から8月まで : 182本 = 3…

はじめに Google Cloud Next '23 にて、Google が TPU v5e を発表しました。 www.youtube.com Efficient (Per/$ vs. TPU v4) 2X training 2.5x inference Scalable 10s of Ks of chips (Multislice technology) ほんのちょことしかなかったですが、下記のブ…

はじめに このブログでも何度も取り上げている Esperanto Technologies 。下記の eetimes の Sally -san の記事によると、recommendation から HPC/LLMs に pivot したと。 www.eetimes.com Esperanto Technologies は、recommendation をターゲットにしてい…

はじめに AMD の IR (Q2.21 - Q2.23) のカテゴリ別 Data Center Client Gaming Embedded を覗いてみました。 全体の推移 下記が Q2.21 - Q2.23 のカテゴリ別および4カテゴリ合計のグラフです。Q2.22 がピークで下がっています。 下がっているのは、どうやら …

はじめに MediaTekの売上が2021年度の同月を下回ってきたというブログを書いたのが 2022.12.13。 vengineer.hatenablog.com あれから8か月。データのアップデートをしました。 2022.12 - 2023.7 を追加 2023.3は、2021.3よりちょっと上ですが、それ以外は 20…

はじめに XのTLに流れてきた下記の投稿。ツイートなんだけど、画像がうまく使われていて、なんか記事を読んでいるみたいです。 Google is working on a new developer option in Android that will swap out your device's Linux kernel with one that uses …

はじめに OpenHW Group から RISC-V MUC の "CORE-V MCU DevKit" 用のチップをテープアウトしたよと、アナウンスがありました。 www.openhwgroup.org CORE-V MCU DevKit CORE-V MUC は、 GlobalFoundries’ proprietary 22FDX® process technology CV32E40P c…

はじめに このブログでも3回、とりあげている Mipsology (Zebra) を AMD (たぶん、旧Xilinx)がお買い上げしました。 community.amd.com Mipsology AI Inference用として、Xilinxと仲良くしていた Mipsology 、プロダクト名 Zebra を AMD が取り込む感じです…

はじめに AWS Trainium / Inferentia2 の NeuronCore-v2 に入った、GPSIMD Engine。 図を見ると、3個ぐらい入っているのですが、これ、何でしょうか？ 下図はAWSのサイトから持ってきました。説明のために引用します。 AWS Neuron Documention の中を探って…

はじめに XにSupercomputer Auroraに関する情報が流れてきました。 ICYMI: Preparing for #Exascale on #Aurora @argonne@IXPUG1 Webinar by Scott Parker @argonne_lcf Aug 10 2023o Aurora Overviewo Preparing Applicationso Early performance resultsSl…

はじめに AWSのTrainium と Inferentia2には、NeutronLink-v2というチップ間を接続する機能が入っているということは、このブログでも紹介しました。 その NeuronLink-v2 には、Collective Communication が入っているというこの今回のお話。 Neuron Collect…

はじめに Groq が The Language Processing Unit なるものを発表しました。 futurumgroup.com Groqのプレスリリースは、こちら www.prnewswire.com The Language Processing Unit (LPU) 上記の記事によると、 LLM Llama-2 70B を１秒あたり100トークン以上の…

はじめに XのTLに、Occamyが上がってきたという投稿が流れてきました。下記の投稿を説明のために引用します。 Live from PULP, you are witnessing the unboxing of Occamy by @LucaBeniniZhFe. Our 432-core Multi-TFLOPs RISC-V-Based 2.5D Chiplet System…

はじめに XのTLに流れてきた、Tier IVの Kato -san の投稿 当時の仲間たちとチームを再結成し、新しく開発したチップがこちらです。試作ですが、これから5年間かけて量産していきます。https://t.co/gXvrEh0n5R https://t.co/fM3Wx8cr50 pic.twitter.com/wDK…

はじめに 昨年の９月に Tier IV のチップが上がってきたことはこのブログでも取り上げました。 vengineer.hatenablog.com そのチップを使ったシステムの運用が始まったようです。 medium.com チップの型番 上記の記事からチップの型番は、AX91101 っぽいです…

はじめに NVIDIAのGPUの件、H100が売り切れ、A800も売れている、ということをこのブログで取り上げました。 では何故？NVIDIAのGPUだけが売れるのか？ それは、NVIDIAが長年作り上げてきたエコシステムがあるからです。特に、2006年11月発表があり、2007年7…

はじめに NVIDIAのRTX 40 (Ada Lovelace) の次のGPUである RTX 50は、CB20Xになるようです。 videocardz.com GB202, GB203, GB205, GB206, GB207 上記の記事の内容では、 GB202, GB203, GB205, GB206, GB207 とあるので、コンシューマー向けのGPUになってい…

はじめに 先週、AWS Trainiumの実物、ということでブログを書きましたが、推論チップの Inferentia2 が Trainium とほぼ同じような構成でした。 Trainium Inferentia2 上記のサイトからそれぞれの絵を説明のために引用します。違いは、NeuronLink-v2の本数だ…

はじめに AWSがAI学習用チップである Trainium を発表したのが、AWS re:Invent 2020 のこと 2022年10月12日の技術ブログ、 独自設計チップ AWS Trainium 搭載 Amazon EC2 Trn1 インスタンスで ML トレーニングを高速実行（基礎編） によると、チップには HBM…

はじめに Xに流れてきた、下記の投稿の記事。 #China's largest web and cloud providers are lining up to buy as many @Nvidia #GPUs as they can Alibaba, Baidu, ByteDance, and Tencent ordered 100,000 #A800 GPUs worth ~$1B and another $4B worth o…

はじめに スティーブン・キングの 11/22/63 を読み終えました。 7/27 - 8/12 です。8/11 - 8/12 で一気に 最後の 1/3 ぐらいを読みました。 スティーブン・キング11/22/63ひとり読書会終了かなり良かった次は The Stand(全5巻)2000頁ぐらいかな https://t.co…

はじめに 昨年後半のChatGPTに始まった生成AIブームというかバブルの影響でNVIDIAのGPUが売り切れというお話。 www.barrons.com H100は、Q1.2024/Q2.2024 まで買えない 上記の記事によると、H100は、Q1.2024/Q2.2024 まで買えない、ということです。 vengine…

はじめに Bluespec SystemVerilog の中に、bluetcl なる tcl インタプリタがあります。今回は、この bluetcl を使ってみようと思います。 bluetcl を使うことでインタラクティブにシミュレーションを進めることができるようです。 例題 例題 (examples/smoke…

はじめに PCI Express 、現在は 5.0 ですが、数年すると、6.0 になります。 7.0 の Specification の策定をしています。 www.businesswire.com 6.0では、64Gbps (32Gbps-PAM4) です。7.0では 128Gbps (64Gbps-PAM4) です。 5.0 をサポートする、Intel Sapphi…

はじめに NVIDIAの Grace 用の Linux Kernel 、github にあります。 64K PAGE SIZE ちょっと散策していたら、64K PAGE SIZE をサポートするように、defconfig が修正されていました。 CONFIG_ARCH_VISCONTI=y CONFIG_ARCH_XGENE=y CONFIG_ARCH_ZYNQMP=y CONF…

はじめに いつものように、github を散策していたら、NVIDIAの open-gpu-kernel-modules の中に EGM なるものがあることを知りました。 EGM とは？ ここに、説明がありました。 #define ADDR_EGM 7 // Extended GPU Memory (EGM) EGM == Extended GPU Memory…

はじめに 先日、下記のようなことをXに投稿しました。(Twitterにツイートしました) 多くのひとは毎日時間が無いと嘆いていると思いますどうすれば時間を作り出すか1. 毎日24時間1週間、何に時間を使っているかを記録する2. 記録したものを分類し、絶対に必要…

はじめに NVIDIAがGrace Hopper Superchipを GH200 として発表したことはこのブログでもお知らせしています。 vengineer.hatenablog.com いつものように、github を散策していたら、GH180なるものを見つけました。 上記のブログでは、GH180 == TH500 (Grace)…