@Vengineerの戯言 : Twitter SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった
はじめに
Cerebras System の WSE の情報はあまり公開されていないのですが、
2021年6月8日にYoutubeにて公開された「[SPCL_Bcast] High Performance Computing: Beyond Moore's Law」にて、WSEの情報がちょっと公開されました。
WSE の特徴
ビデオの42:52(説明のためにこの部分のスクリーンショットを引用します)
- WSE has a data flow architecture
- WSE is a MIMD architecture
(これについては、既に公開されている内容です)
ビデオの47:52(説明のためにこの部分のスクリーンショットを引用します)
CS-2 には、
- Stationary weights, streaming activations ("Pipelined")
- Stationary activations, streaming weights ("Weight streaming")
の2つの実行モードがあって、普通のモデルの場合は "Pipelined" にて、巨大なモデルでは "Weights streaming" を使うようです。
おわりに
上記の CS-2 では2つの実行モードがあるって、あるけど、CS-1 ではどうなんだろうか？ この部分のビデオを再度見直したら、CS-1 and CS-2 とあったので、両方ともサポートするようですね。
