Vengineerの妄想

人生を妄想しています。

HabanaのGoyaとGaudi

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそすべては、SystemC v0.9公開から始まった

今日は、Habana の Goya と Gaudi

下記に Live Log があります。

www.anandtech.com

Habana Gaudi

Habana GaudiとNVIDIAのV100との違いは、チップに筐体外とのインターコネクトが付いていることですね。

まー、NVIDIAもMellanoxを買収しているので、いづれ出てくると思いますが。

Gaudiは、PCIeボードとFacebookが主導するOCP用のモジュールという実装形態ですね。OCP用のモジュールを8個搭載したものが Gaudi HLS-1 ですね。NVIDIAのDGXみたいなもんですね。NVIDIAは、16個のV100を搭載したDGX-2/2Hもありますね。なので、筐体レベルでの性能で言えば、NVIDIAのDGX-2/2Hの方がいいと思います。

HLS-1は、ホストシステムから 2x PCIe が2組で接続されますね。ホストのXeonの各スロットから 2x PCIe 16が2つということなんでしょうね。x2 PCIe の x16の2組を1つのPCIe Switch に接続して、そのPCIe Switchを Gaudi x 4 と接続していますね。

Habana Goya

GoyaのInference性能は、ここ に載っていますね。

ResNet-50の推論で、Goyaでは 15393 IPS で、NVIDIA T4では 4944 IPS

昨日の Intel NNP-I での ResNet-50 の推論は 3600 IPS 。

あれ、昨日のツイートのベンチマークでは、(引用:画像のURLを組み込んでいます)では、T4では 10000 IPS を越えてますよ。

 Goya Inference Platform White Paperも公開されましたね。

下記の図は、サイトにあるGoyaのボードです。基板の上部にPCIe x8っぽいエッジがありますね。何に使うんでしょうかね。

f:id:Vengineer:20190824105845p:plain

Hanabaのサイトにある画像を引用しています。