d-Matrix : Corsair C8 で LLM Inference

はじめに

下記のツイートで、d-Matrix の Corsair C8 なるものを知りました。説明のために引用します。

d-Matrix presents Corsair C8 card 9x faster than Nvidia's H100 GPU in generative AI workloads #notebookcheck #news #tech https://t.co/yojNnx4zhM

— notebookcheck.net (@nbc_net) 2023年9月8日

d-Matrix Corsair C8

サイトにアクセスしたら、下記のようなボードのイメージ図が載っていました(説明のために引用します)

PCIe x16 Board 上に、2個のパッケージ。1個のパッケージには 4つのchiplet、各 chiplet には LPDDR5 x 2 (8GB x 2 = 16GB) が接続しています。

各chiplet には、256 DMC cores 、8個の chiplets で 2048 DMC cores。2400 - 9600 TFLOPS

複数枚の利用も可能のようです。説明のために引用します。

• Developing an AI Inference Chip with Cadence Flow in Azure Cloud

おわりに

ホストとの接続って、どうするんでしょうかね。PCIe Gen5 ということですが。なんか、Chiplet間も PCIe Gen5 で接続しているような感じになっていますね。

1TB/s chip-to-chip bandwidth となっています。PCIe Gen5 x16 だと片側 64GB/s です。上記の図だと、2 chiplet 間で接続しています。64GB/s x 2 x 5 = 512GB/s