Vengineerの妄想

人生を妄想しています。

Tesla Dojoの裏側

はじめに

Tesla Dojo の 裏側が公開されたので、記録に残します。

x.com

Tesla Dojo

Tesla Dojo の中については、下記のブログにまとめていますので、お楽しみください。

vengineer.hatenablog.com

上記のブログにも貼っておいた、全体像が下記になります。

今回公開されたものの、全面および横。説明のために引用します。横側に、上下2か所、空いています。

下記が裏面です。説明のために引用します。

横の空いているところの位置から、太いケーブルが刺さっているところがコールドプレートの上になりますね。

黒いケーブルがたくさんあります。このケーブルだけでもお高そうです。。。

おわりに

下記のXの投稿によると、Dojo 1 は、2024年末で 8000 x H100 相当のトレーニングができるようです。

8000 x $30K = $240000K = $240M なので、Tesla Dojoの開発費を$100Mとし、量産費用を考えると、どうなんでしょうね。。どっこいぐらいなんでしょうかね。

Dojo 1とあるので、Dojo 2 も作るのかな?

Amazonじゃなくて、AWSの売上を眺めてみたら、NVIDIAより凄かった

はじめに

Amazonの子会社である AWS も Chip を開発しています。では、どのぐらいの売上なのかを Amazon の IR から調べてみました。

なんか凄いです

AWS の売上

Q1.2019 - Q1.2024 の Net sales と Operating Income です。

グラフにもしてみました。綺麗な右肩上がりです。

2023年のNet salesは、なんと、$90,757Mです。NVIDIAの2023年の売上は、$60,922M なので、1.5倍ぐらいあります。

Operating Incomeは、2023年、$24,631M です。めっちゃ凄いです。

おわり

AWSのNet salesとOperating Incomを見てみました。凄いです。

Amazon の 2023年 の Net sales と Operatng Incomme です。

2023 (Net scales)

  • North America : $352,828M
  • International : $131,200M
  • AWS : $90,757M

2023 (Operating Income)

  • North America : $14,877M
  • International : - $2,656M
  • AWS : $24,641M

売上は1桁違いますが、Operating Incomeは、AWSの方が多いですね。。。。

Esperanto Technologiesのchiplet 構想

はじめに

いつもやっている雑談の中で、Esperanto TechnologiesがRapidusと2nmでchipletとあるのどうして?と思って調べてみたら、出てきました。

RapidusとEsperanto、2nmプロセスでのAI半導体製造に向けたMOUを締結 | TECH+(テックプラス)

ET-SoC‐2xを4nmで開発中。Samples 2H 2025と。これが chiplet なので、2nm でも chiplet ができると。

ET-SoC-2x とは?

下図は、上記の記事からです。説明のために引用します。

ET-SoC-1の ET-Minion 1 の 1024個を 4つの chiplet に分けて、動作周波数を 2GHz にするというものですかね。

性能は、100 TOp (int8) => 256 TFlops FP8/Int8 per chiplet なので、この時点で 2.56倍ですね。。。

下記のあたしのブログによると、ET-SoC-1では、「139 TOPS (INT8) @ 1.0GHz」になっていますね。

vengineer.hatenablog.com

となると、動作周波数は、

  • 100/139 = 720MHz

ぐらいですね。

2.0/0.72 = 2.77 倍

なので、まー、動作周波数が上がっただけと考えてよさそうですね。2 * 100/256 = 0.78 (780MHz)

ET-SoC-3x

2nm で chiplet を作ると、コア数が倍になるっぽい。

Sample 2H 2026

下記の記事によると、Rapidus の 2nm の量産は、2027年に

あれ、Sample 2H 2026 と Rapidus 量産 2027 で、あっているの?

おわりに

下記のタイトル。

eetimes.itmedia.co.jp

あたしは、

だと思っているので、最先端プロセスでは、

ぐらいしか、chiplet 作っても儲からないのでは?と思っています。

書籍 : 思い立ったら隠居 週休5日の快適生活

はじめに

ひとり読書会の休憩として読みました

文庫版

Kindle 版、770円のところ、半額の 385円でした

大原扁理 の本は、3冊目

あと、1冊、読む予定です。

おわりに

だいぶ、この本に書いている生活に近づいてきました。。。

OpenAIの売上って、どのぐらいなの?

はじめに

OpenAI の売上については、今年の2月にこのブログに書きました。

vengineer.hatenablog.com

OpenAI の2023年12月での売上が $2B (2023.12) に。2024年は100%成長、つまり、2倍。

OpenAI's ARR reached $1.6 billion at the end of 2023, up ~25% from $1.3 billion in October.

$1.3B => $1.6B => $2.0B

年$2B だと、$2B/12/20 = 8.3M か。

実際の売上は?

下記のXの投稿によると、下記のように、$3.4B のようでした。

  • $1.9B for ChatGPT Plus (7.7M subscribers at $20/mo),
  • $714M from ChatGPT Enterprise (1.2M at $50/mo),
  • $510M from the API, and
  • $290M from ChatGPT Team ( 80k at $25/mo)

上記のブログでは、最初の ChatGPT Plus だけでした。$2.0B に対して、$1.9B なので合っていますね。

それ以外に、

  • $714M from ChatGPT Enterprise (1.2M at $50/mo),
  • $510M from the API, and
  • $290M from ChatGPT Team ( 80k at $25/mo)

で、約$1.6B です。

おわりに

$3.4B からどのぐらい伸びるのですかね。

とは言え、売上がいっぱいあっても、利益ってどのぐらいですかね。それが気になります。。。

LLM 推論って、めっちゃ電力が必要なので、電気代もそれなりになり、今まで投資分も減価償却しないといけないので、まだまだかかりそうですかね。

追記)、2024/07/25 下記の投稿によると、2024年は$5Bの損失。評価額は $80B もあるのにね。。

モデルのトレーニングで1兆円ほどコストがかかり、人材の維持確保に2000億円必要

BrainChip : Akida AKD1000

はじめに

過去、このブログでも2回紹介した BrainChip(2017/9/28, 2020/4/23)

vengineer.hatenablog.com

vengineer.hatenablog.com

BrainChip

brainchip.com

akida : AKD1000

brainchip.com

下図は、上記の頁にある akida AKD1000 の説明です。説明のために引用します。

  • 80 NPUs (20 nodes x 4 NPUs) : 4 x 5 nodes
  • SRAM : 8MB
  • TSMC 28nm
  • PCIe Gen2 x 2
  • PCIe 2.1 x2 lane root compex / Connects up to 64 devices

チップの写真が ここにありました。説明のために引用します。

  • ARM Cortex-M4 32bit@300MHz とありますね
  • LPDDR4 4GB
  • PCIe Gen 2.0 x1

このボードのお値段は、$499 のようです。

ポイントは、

  • TSMC 28nm
  • PCIe 2.1 x 2 (USB 3.0 Endpoint)
  • M-Class CPU with FPGA & DSP : この M-Class CPU とは、Arm Cortex-Mのこと!

資料

AKIDA Mesh Architecture (上記の Linleyの資料から説明のために引用します)

AXI 4.0ベースのDMAにて、2D-Meshのnodeと繋げる

下記の図も上記の資料から説明のために引用します。

2D-meshで、node内には、4個のNPUがあり、上下左右に接続されています。

上記の Chip の図を振り返ります。チップ部分を拡大したものが下図です。説明のために引用します。

  • LPDDR4
  • HIGH SPEED CHIP-TO-CHIP

  • PCIe Gen2 x 2

  • PCIe 2.1 x2 lane root compex / Connects up to 64 devices

とあります。複数チップを繋げられるようですね。一方が root complex になり、もう一方が endpoint になる。

DMAでメモリへアクセスするので、endpoint になった側のチップが root compexDRAMへ DMAする感じなんでしょうね。

2nd generation

brainchip.com

によると、Q3.2023 には、second genration IP plaform が General availabily ということです。

今はどうなんでしょうか?

2023.10.3では順調に進んでいるように見えます。

brainchip.com

PCIe デバイスドライバ

Akida PCIe driverが github で公開されていますね。

github.com

おわりに

TSMC 28nm のチップはあるようですが、second generation は、IP のみのようですね。

チップを実際に作るにはそれなりのお金が必要ですからね。顧客が居ないと、なかなか、作れないですよね。。。

過去を振り返る会 : Vengineerはいつ爆誕したのか?

はじめに

ばんくし、との 3回目の 1on1 の問い(事前に貰っていました)に対する回答として、

  • Vengineerはいつ爆誕したのか?

について、残したいと思います。

Xへの投稿

メモとして、下記の内容をXに投稿しました

  • 雑誌初掲載が1997年
  • 初登壇が2001年
  • ブログを書き始めたのが2007年
  • Twitter始めたのは2009年
  • 勉強会に参加するようになったのは、2013年6月の第2回FPGA-Xから
  • 某イベントをやり始めたのが2014年
  • Tensolfow XLAを見つけたのが2017年初頭
  • 転職したのが2018年

先週の振り返りの会で、HDLを書いていたのが 2004年なので実はその前から雑誌投稿や講演はしていました。

整理し直すと、

  • 雑誌・書籍 : 1997年~
  • 講演 : 2001年~ (今回で11回目)
  • ブログ : 2007年~ (6300エントリ超)
  • Twitter : 2009年~ (13万ツイート超)
  • 勉強会 : 2013年~ (参加・発表・主催)

です。

はんくし、との 3回目の 1on1 では、

上記の

・勉強会 : 2013年~ (参加・発表・主催)

によって、イベントの主催を何度もしたことが非常に良かったと思っています。

何故、勉強会に参加するようになったかと言えば、横浜に転勤になり、通勤途中である東京での勉強会に参加するのがかなり容易になったからです(それまでは、東京に出るだけでかなり時間がかかるため、セミナーがある時ぐらいしか出かけていませんでした。

  • 参加 : ぽちっと押すだけでOK
  • 発表 : 準備だけでなく、当日も緊張するよね
  • 主催 : 色々と準備が必要、そして、イベントを盛り上げるために考えないといけない、そして、当日は運営、そして、懇親会も

参加から発表でも難易度は結構上がりますが、発表から企画への難易度はもっと上がりました。

しかしながら、やってみて、難易度は上がったものの、やればできるものなんだと。

おわりに

ということで、

  • Vengineerはいつ爆誕したのか?

は、2013年からの勉強会への参加・発表・企画を経験した後だと思います。

それがたまたま、下記の2017年の 「TensorFlow XLA への衝撃」につながり、転職して、今に至ったのだと思っています。

vengineer.hatenablog.com

勉強会は2013年からです。2013年は、49歳の年です。なので、もう年だからとか言っているみなさん、全然OKです。。。やってみましょう!