はじめに
以前、このブログで
「Tesla Dojo を開発したメンバーが操業した DensityAI という会社って！」
という記事を書きました。
当時は、まだDensityAIはほぼステルス状態。
サイトを見ても詳しい製品情報はなく、
「なんか凄そうなビデオが流れている」
くらいしか分かりませんでした。
しかし、2026年8月になってDensityAIのサイトを見ると、かなり面白いことが書かれています。
そして、あたし的には
「ああ、なるほど。そういう方向だったのか」
という感じです。
DensityAIが狙っているのは、単なる「GPUの代わりになるAIチップ」ではなさそうです。
むしろ、
AI推論におけるMemory Wallを、チップ単体ではなく、Die → Package → System → Softwareまで含めて潰しに行く会社
と考えると、かなり分かりやすくなります。
DensityAIが現在掲げているもの
現在のDensityAIのサイトには、かなり明確な説明があります。
Building the fastest inference solution for frontier models
を掲げています。
そして、対象はfrontier-scale LLM inference。
つまり、巨大なLLMを推論するためのシステムです。ここで面白いのが、その次。
DensityAIは自分たちのアーキテクチャを、
Near memory compute
と説明しています。
そして、
SRAMのようなNear-Memory Computeのトポロジー ＋ HBMのような高密度なメモリ
を組み合わせる、としています。([densityai.com][1])
これ、かなり重要です。
HBM GPUとSRAM Meshの「いいところ取り」
DensityAIの説明では、現在のAIアクセラレータには大きく2つの方向性があるとしています。
HBM GPU
- Bandwidth：8 TB/s
- Capacity：192 GB
- Compute Utilization：約7%
SRAM Mesh
- Bandwidth：300 TB/s
- Capacity：1 GB
- Compute Utilization：50%
そしてDensityAIは、
DensityAI
- Bandwidth：SRAM-like
- Capacity：DRAM-like
- Compute Utilization：90%以上を目標
としています。
もちろん、これはDensityAI自身による比較なので、その数値をそのまま第三者ベンチマークとして受け取るべきではありません。特にSRAM Meshについては小規模モデルで評価しているとの注意書きもあります。ただし、ここでDensityAIが言いたいことは非常に分かりやすい。
「BandwidthかCapacityか」という問題
AIアクセラレータを考えるとき、
演算性能を何TFLOPSにするか
という話になりがちです。
しかしLLM、とくに長コンテキストのInferenceでは、
「データをどこに置いて、どうやって演算器まで持ってくるのか」
が極めて重要になります。
HBMは容量を大きくできます。演算器のすぐ横に巨大なSRAMを置くような構成と比較すると、データ移動には距離があります。逆にSRAMを大量に並べれば、とんでもない帯域を作れます。
しかし、
SRAMは高価で面積を食う。
そのため、容量を巨大化するのが難しい。DensityAIは、この問題を
Bandwidth vs Capacity
として捉えているようです。そして、その解決策が
「メモリをもっと速くする」
ではなく、
「メモリを演算器の近くに置く」
という方向です。DensityAI自身も、
The path through the memory wall runs through memory placement, not around it.
という非常に興味深い表現を使っています。日本語にすると、
「Memory Wallを迂回するのではなく、メモリをどこに置くかでMemory Wallを突破する」
という感じでしょうか。
そして今回、一番面白いのがここ
タイトルは、
Three layers of the stack, designed together by DensityAI
です。つまり、
Die
↓
Package
↓
System
の3階層を、
最初から一緒に設計する
という考え方です。これ、半導体屋からすると結構重要です。
Layer 1：Die
まずDie。
Memory integrated directly into the compute stack.
と説明しています。
ComputeとMemoryを極めて近い場所に置く。
これによって、
- 帯域
- 容量
- 演算性能
を同じ場所で考える。
通常のGPUでは、
Compute Die → Package → HBM → Package → Compute
というデータ移動を意識する必要があります。
ところがDensityAIは、
そもそもデータを遠くまで動かさない
という発想です。ここは、DensityAIのアーキテクチャを理解する上で一番重要な部分だと思います。
Layer 2：Package
さらに面白いのがPackage。
DensityAIは、
A single package tiles together multiple compute dies
と説明しています。
1個の巨大なCompute Dieを作る
というより、
複数のCompute DieをPackage内にタイル状に並べる
方向です。
memory and compute replicated across a large surface
としています。ここで重要なのは、
Computeだけを増やすのではない
ということ。MemoryもComputeも複製して、
Capacity、Bandwidth、FLOPsを一緒にスケールさせる。
これはかなり面白い考え方です。
「チップレットだからスケールする」ではない
ここは普通のチップレット設計とは少し違うところだと思います。
一般的なチップレットでは、
「大きなDieを小さなDieに分割して製造しやすくする」
というメリットがあります。
しかしDensityAIの説明を見ると、それだけではありません。むしろ、
MemoryとComputeの物理配置そのものをアーキテクチャとして利用する
ことが重要そうです。
Dieを分割したからチップレット
ではなく、
MemoryとComputeを最適な距離に配置するためにDieを分割する
という発想です。ここはかなり違います。
Layer 3：System
そして最後がSystem。ここがDensityAIの一番「Dojoっぽい」ところかもしれません。
DensityAIはSystemについて、
Silicon, packaging, kernels, and serving all designed together as one system.
と説明しています。
Silicon
だけでは終わりません。
Packaging
も、
Kernel
も、
Serving
も、
一緒に設計する。
さらに、
compute organization to software architecture, all the way to inference serving.
としています。これはもう、
AIアクセラレータを作っている会社
というより、
Inference Systemそのものを設計している会社
と考えたほうがよさそうです。
2025年の記事を振り返ってみる
ここで、1年前の記事に戻ります。2025年8月の時点では、DensityAIはほぼステルス。当時の記事では、
Siliconそのものの職はなく、Signal Integrity/Power Integrity、Power Module、Packagingの仕事のようです。
と書いていました。これは当時としてはかなり面白いポイントでした。
ところが現在の求人を見ると、状況が全然違います。
現在は、
- AI Core DV
- RTL
- DFT
- Physical Design
- Physical Design Timing
- Performance Verification
- Advanced Packaging
- Signal Integrity / Power Integrity
- Hardware Reliability
- Hardware Test
- Electrical Engineering
- Compiler
- MLIR
- Kernel
- Firmware
- Simulation
など、**シリコンからソフトウェアまで一気通貫の人材を募集しています。
これを見ると、
「ああ、2025年に見えていたPackagingやSI/PIは、単なる周辺技術ではなかったんだな」
と思います。
DensityAIが本当に作ろうとしているもの
ここからはVengineerの妄想です。
DensityAIが作ろうとしているものを、
AI Accelerator
と呼ぶと、ちょっと小さく見えるのではないでしょうか。
むしろ、
「Memory-centric AI Inference System」
なのではないか。と妄想しています。
LLM / Serving
│
Runtime
│
Kernel
│
Compute
│
┌───────┴───────┐
│ Near Memory │
│ Compute │
└───────┬───────┘
│
Memory Architecture
│
┌──────────┴──────────┐
│ Package │
│ Compute + Memory │
│ Compute + Memory │
│ Compute + Memory │
└──────────┬──────────┘
│
System
│
Rack
というような、
Memory配置からSystem、Softwareまでを逆算して作る
構成です。
ここがTesla Dojoとのつながりなのかもしれない
もちろん、DensityAIの現在の製品がDojoと同じ構造だと言っているわけではありません。しかし、CEOのGanesh Venkataramanan氏自身が、これまでの仕事として
- AMD Opteron / x86-64
- multicore x86
- Tesla FSD Computer
- Tesla Dojo
を挙げています。
そして現在のDensityAIについて、
「AI computeをscaleで作り直す」
という趣旨を発信しています。ここが面白い。
Dojoで経験したのは、
「巨大なAI計算を、従来のGPU＋ネットワークという構成だけで考えない」
という世界だったはずです。
その経験を、今度は
LLM Inference
に持ってきているのではないか。これはかなりありそうです。
DojoはTraining、DensityAIはInference
ここも非常に興味深いところです。
Dojoは基本的には、
Training
のためのシステムでした。
一方DensityAIが現在強く打ち出しているのは、
Inference
です。そしてLLM Inferenceでは、特にDecodeが厄介です。Tokenを1個ずつ生成する。そのたびにMemoryからデータを読み出す。
巨大モデルになればなるほど、
演算器が速いかどうかより、データをどう持ってくるか
が効いてきます。だから、
「もっとFLOPSを増やそう」
ではなく、
「MemoryをComputeのすぐそばに置こう」
になる。これがDensityAIの思想なのではないでしょうか。
NVIDIA GPUとは違う戦い方になる？
ここも妄想です。
NVIDIAは、
GPU
↓
HBM
↓
NVLink
↓
NVSwitch
↓
Network
という巨大なScale-outシステムを非常に強く作っています。
DensityAIは、それとは違う方向。
もっとComputeとMemoryを物理的に近づける。
そしてPackage内で、
Memory + Compute
を大量に複製する。さらにSystem Softwareまで専用設計する。
「GPUを速くする」
という発想ではなく、
「GPUという構造そのものを変える」
というアプローチなのかもしれません。
おわりに
2025年8月。
VengineerがDensityAIについて書いたときには、
「Dojoの人たちが集まって、何か凄いものを作っているらしい」
というところまででした。
2026年8月。
少しずつ、その「何か」が見えてきました。
それは、
HBMより速く、SRAMより大容量
という単純なMemoryの話だけではない。
Memoryをどこに置くか
から始めて、
Die → Package → System → Software
を一緒に設計する。
DensityAIが本当にこれを実現できるなら、
これは単なる
「NVIDIA GPU対抗チップ」
ではありません。
むしろ、
「LLM Inference用コンピュータの再設計」
なのかもしれません。
そして、Dojoを経験したメンバーが次に挑戦しているのが、
TrainingではなくInference
というのも、個人的には非常に興味深いところです。
まだ製品の詳細は分かりません。
だからこそ、
これから何が出てくるのか、もう少し妄想してみたいと思います。
