Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう!

Cerebras Systems の CS-2の2つの実行モードとは?

@Vengineerの戯言 : Twitter SystemVerilogの世界へようこそすべては、SystemC v0.9公開から始まった 

はじめに

Cerebras System の WSE の情報はあまり公開されていないのですが、

2021年6月8日にYoutubeにて公開された「[SPCL_Bcast] High Performance Computing: Beyond Moore's Law」にて、WSEの情報がちょっと公開されました。

www.youtube.com

WSE の特徴

ビデオの42:52(説明のためにこの部分のスクリーンショットを引用します)

  • WSE has a data flow architecture
  • WSE is a MIMD architecture

(これについては、既に公開されている内容です)

f:id:Vengineer:20210619122545p:plain

ビデオの47:52(説明のためにこの部分のスクリーンショットを引用します)

CS-2 には、

  • Stationary weiights, streaming activations ("Pipelined")
  • Stationary activations, streaming weights ("Weight streaming")

の2つの実行モードがあって、普通のモデルの場合は "Pipelined" にて、巨大なモデルでは "Weights streaming" を使うようです。

f:id:Vengineer:20210619123004p:plain

おわりに

上記の CS-2 では2つの実行モードがあるって、あるけど、CS-1 ではどうなんだろうか? この部分のビデオを再度見直したら、CS-1 and CS-2 とあったので、両方ともサポートするようですね。