Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう!

Cerebras SystemsのWSEについて、もう少し

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそすべては、SystemC v0.9公開から始まった

昨日の続きで、

Cerebras SystemsのWSEについて、サイトに書いてあるものを整理してみたい。

Accelerate your AI researchに書いてある内容をリストアップします。

Train AI models in a fraction of time, effortlessly

Provides faster time to solution, with cluster-scale resources on a single chip and with full utilization at any batch size, including batch size 1

バッチサイズ1でもトレーニングできる?

Exploit model and data parallelism while staying on-chip
Provides flexibility for parallel execution, supports model parallelism via layer-pipeline out of the box

モデル並列もレイヤーのパイプラインでボックス内でできる?

Unlock new techniques and models
Runs at full utilization with tensors of any shapes, fat, square and thin, dense and sparse, enabling researchers to explore novel network architectures and optimization techniques

どんな shapes でもできる?

Design extraordinarily sparse networks
Translates sparsity in model and data into performance, via a vast array of programmable cores and flexible interconnect

SparseなNetworksでも大丈夫?

つまり、従来まではできなかったことも出来ちゃうということね。

凄いね。。。。

コアの大きさは?

Technology - Cerebrasのところでは、

Vastly more deep learning compute
The WSE contains 400,000 Sparse Linear Algebra (SLA) cores. Each core is flexible, programmable, and optimized for the computations that underpin most neural networks. Programmability ensures the cores can run all algorithms in the constantly changing machine learning field.

とあり、その右側の図によると、1mm に3個のコアだと書いてある。

21.5 mm だと、20 mm とすると、60 * 60 = 3600 個になっちゃいますね。そうすると、1/100 なんですよ。1 mm に3個じゃなくて、33個じゃないんですかね。

Efficient, high performance on-chip memory
The WSE has 18 GB of on-chip memory, all accessible within a single clock cycle, and provides 9 PB/s memory bandwidth. This is 3000x more capacity and 10,000x greater bandwidth than the leading competitor. More cores, more local memory enables fast, flexible computation, at lower latency and with less energy.

には、18GBのオンチップメモリ搭載されているって、400,000コアだと、18GB/40,000 = 45KBなんですね。そんなに大きくないですね。

人募集しているよ

Careers - Cerebras

場所は、Los Altos, California

カテゴリーは、Hardware Engineering、Software Engineering、Machine Learning

ASIC Design Verification Engineerでは、

Deep knowledge of SystemVerilog testbench language, DPI, and UVM.

とありますね。まー、当たり前でしょう! 

Networking Design Verification Engineer

Experience modeling and verifying networking protocols such as Ethernet, TCP/IP, and RDMA.
Knowledge of bus protocols such as AXI and PCIe.

内部バスは、やっぱり、AXIなのね。

Interconnect FPGA/ASIC RTL Engineerを見たら、

In-depth knowledge of data center networking protocols, such as TCP/IP and RDMA preferred.
Experience with high-speed interfaces and bus protocols such as PCIe, 100G Ethernet, high speed memories such as DDR4 and/or HBM.

とあるので、PCIe, 100GbE, DDR4/HBMのFPGAかASICがあるってことね。

まー、そうしないと、ホスト(Xeon)に接続できないよね。

 

このツイートも参考に。