Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう!

graphcore の検索結果:

GraphcoreのBaidu’s Deep Voice 3モデルのベンチマーク

… こちら。 www.graphcore.ai ベンチマークの結果は、記録のために引用します。ここに出ているGPUって、12nmのもととあるので、NVIDIA V100 ですかね。 MK1 IPU で、6倍以上、MK2 IPUでは14倍以上の処理能力と。 - With data-parallel training on a C2 card with 2 MK1 IPUs (batch-size of 4) - With a single MK2 IPU in an IPU-M2…

Graphcore IPU-Server4は、推論用?

…9公開から始まった Graphcore IPU-Server4は、どうやら推論用。 Dellの2Uサーバーに、PCIe Boardを2倍刺したもの。 Graphcore 740 IPU Server www.graphcore.ai 何れ写真は無くなっちゃうので引用します。DELLEMCのロゴがありますね。 PCIeカードは、8枚のサーバーと同じ、Graphcore C2 PCIe IUP Cardで MK1 の方。 8枚の方では、PCIeカード間を接続するコネクタがありまし…

GraphcoreのGraph Compile Domain (GCD)

…9公開から始まった Graphcoreのサイト、最近、よく更新されていて、なおかつ、いろいろと情報がでているんですよね。 で、今回は、これ。Poplar のページにある。記録のために、この部分を引用します。 Multi-IPU Scaling & Communication Poplar takes on the heavy lifting, so you don't have to, in a world of growing model sizes and complex…

NSFのAI supercomputer

…ワードが出てきます。Graphcoreの Poplar API みたいなものですかね。 調べてきたら、知らないプレゼンテーション資料が出てきました。 Generating SIMD Instructions for Cerebras CS-1 using Polyhedral Compilation Techniques 論文も。 LAIR code + LAIR map => DTG codegen => C-level code のようです。 資料見ても、分かりません。。…

Graphcore : Poplar API から探ってみる

…9公開から始まった Graphcore Poplar API から Hardware 関連を探ってみます。 class Target にいろいろ書いてありました。引用します。 Target creation options ipuLinkConfiguration (Default, BarleyTwist, SlidingWindow, None) [=None] The configuration used for the IPU to IPU connections (…

GraphcoreのIPU-Gateway SoCとは?

…9公開から始まった GraphcoreもIPU-Machine M2000 に搭載されている IPU-Gateway SoC。 この SoC には、DDR4が x2 + x1 接続されています。 このブログの一番上にある写真(記録のために引用します)です 左下の黒のヒートシンク(このヒートシンクは、これみたい)の下に IPU-Gateway SoC があり、左側に2枚のDDR4、右側に 1枚のDDR4があります。DDR4だと、ECC付では64GBまでありますね。そうなると、3…

Graphcore の IPU-Machine M2000 の前に、IPU-Machine があったのだ

…を知ってから、再度、Graphcoreのサイトのこのブログを読み直して、気が付きました。 IPU-PODを気にかけていて、IPU-Machine のことを全く持ってスルーしていたわけです。 www.graphcore.ai IPU-Pod は、32 1U IPU-Machines から構成される、とあります。 IPU-Machine には、4個の Collossus GC2 IPU (現在のMK1)が載っていると。 その写真がこのブログに載っています(記録のために画像を引用し…

GraphcoreのIPU-FABRIC内の IPU-SYNC/IPU-GWLINKS とは何か?

@Vengineerの戯言 : TwitterSystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった 昨日の続きです。 IPU-FABRICにある - IPU-SYNC - IPU-GWLINKS とは何か? そのヒントは、ブログの中にあるビデオにありました。その8:00に IPU-Machine M2000のケーブルが刺さっている部分が映し出されます。その中で、オレンジ色のケーブルが刺さっているコネクタの上に、 - SYNC 1-8 …

Graphcore : MK2 GC200 および IPU-Machie M2000 発表

…から始まった 突然、Graphcore から MK2 GC200 および IPU-Machie M2000 発表があった。 www.graphcore.ai 何故?このタイミングだったかの? 6/25の INTERNATIONAL WORKSHOP ON MACHINE LEARNING HARDWARE (IWMLH), CO-LOCATED WITH ISC2020 で講演したばかりなのに。 新しいチップが MK2 GC200 になったので、今までの IPU は、MK1に…

Graphcore 中国にて IPU DevCloud を始めたっぽい

…このブログ www.graphcore.ai MicrosoftのAzureでサポートした DELL DSS 8440 IPU SERVER の他に、INSPUR NF 5568M5 IPU SERVER を。INSPUR という会社のサーバーに IPU を差したものっぽい。 パートナーは、Kingsoft Cloud 。え、あの Kingsoft ? Office っぽいもの出していた。 お、中国語での説明もあった。読めないけど。あ、これ、申込のページね。 www.grap…

Graphcore の TensorFlow XLA コード

…た 昨日のブログで、Graphcore の IPU が ホストのメモリを使う addRemoteBuffer を紹介しました。その中で、GraphcoreのTensorFlowでも使っていたのですが、その使っていた部分のコードは、XLA の中だったのです。 ということで、今日は、Graphcore の TensorFlow XLA のコードを見ていきます。 コードは、ここ。 3rd party XLA devices のディレクトリにあります。最新のTensorFlowにも同…

GraphcoreのIPUでも、ホストのメモリを使う?

…9公開から始まった Graphcoreが POPLIBS をオープンソース化したというのが昨日のブログ。 今日のブログでは、IPU でも ホストのメモリを使うというお話。 Graphcoreの IPU は内部SRAMをたっぷり持っているので、外部メモリ(DRAM)を接続するインターフェースを持っていません。ということは大きなモデルになってくると、そのモデルのパラメータがIPUの内部SRAMに乗りきらなくなるということ。そこで、今日のブログの内容になるのですが、ホストのメモリを…

GraphcoreのPOPLIBS/POPARTをオープンソース化しちゃいました

…から始まった 先週、Graphcoreは POPLAR GRAPH LIBRARIES (POPLIBS) をオープンソース化しました。 今回公開されたのは、 POPLIBS POPART POPRITHMS これによって、POPLAR SDK以下の層のソフトウェア以外はすべてオープンソースになりました。なんで、オープンソースにするのだろうか?と思いましたが、コア部分であるPOPLAR SDK以外は公開して、ユーザーの皆さんにいろいろと直してもらいたいというところでしょう。こ…

SambaNova Systems の講演ビデオとスライド

…っている。これって、Graphcoreの1UベースのRackScalue IPU-Podと同じですよね。 そうなると、1台の中に、RDUx2だけじゃなくて、Arm系のSoCも載っているのかしら。。。Chipのところに、「Direct interfaces to TBs off chip」とあり、TBが何の略かが気になる。。。ビデオを再度見たら、言ってました。。。TeraBytes Memory と。ということはチップにはTeraByte Memory用インターフェースが載って…

Graphcore RackScale IPU-POD

…ら始まった www.graphcore.ai このブログ、2年前のものなんですが、DELLのサーバーに C2 IPU PCIe Boardを8枚さしたものを提供する前は、この IPU-POD が Graphcore の商品だったんですよね。 で、この写真(URLを組み込んでいます)。右側の上下の2個は、DRAMスロットが2個付いているので何らかのSoCですね。真ん中と左側の2個が、C2 IPUで右側のSoCから2つのC2 IPUと PCIe Gen3 x8 で接続しているんだ…

SPARSE Training

…後のセッションでの Graphcore に出てきました。 「Why SPARSE Training」 youtu.be Graphcore C2 IPUの場合は、各コアが同じ命令を実行するのじゃないので、Pruningして計算する量を減らせば減らすほど処理時間が短くできそうです。学習しながらPruningすればどんどん計算量を減らせます。といってもある程度でPruningは終わるでしょうが。。。 ということで、Graphcore の C2 IPS は、NVIDIAのA100の…

Graphcore と PaddlePaddle

…9公開から始まった GraphcoreがBaidu PaddlePaddle Hardware Ecosystem に参加 www.graphcore.ai TensorFlow、PyTorch (実際には、ONNX)、ONNX対応に追加して、 Graphcoreが PaddlePaddle をサポート。。。 github.com PaddlePaddleでは、CPUとGPU(CUDA)のサポートをしているみたいですが、 TensorFlowの場合はXLAにてサポートしたみた…

Graphcore C2 IPU って、PCIe Gen3 x8 なの?

…ら始まった 先週末、Graphcoreのことを調べて、この画像を眺めていたら、ちょっと気になった。 www.servethehome.com PCIe Edge からの配線が2つの C2 IPU に流れているって。。。 Dissecting the Graphcore IPU Architecture via Microbenchmarking の Table 4.20 によると、各チップへはやっぱり 8 lanes とある。 となると、DELL DSS8440 GRAPHC…

Graphcore : Poplar Tutorial (その3)

@Vengineerの戯言 : Twitter SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった tutorials/poplar/tut5_ml/regression-demo.cpp では、MNISTモデルを Poplar で実装し、IPUで実行するためのコードです。 Popops/Poplin/Popnnの各種 Codelets を graph に追加しています。 Graph graph(dev.getTarget()); …

Graphcore : Poplar Tutorial (その2)

…ithub.com/graphcore/examples/blob/master/tutorials/poplar/tut3_vertices/complete/tut3_complete.cpp では、Vertex を生成し、何らかのOpを実行する例題です。 graph.addComputeSetにて、ComputeSet を生成し、そのComputeSetに Op を割りあてた Vertex を追加しています。Vertexの入力は、v1.slice(i,4) を4つ、出力…

Graphcore : Poplar Tutorial (その1)

@Vengineerの戯言 : Twitter SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった github.com チュートリアルは、次の7つ。 * Tutorial 1: programs and variables* Tutorial 2: using Poplibs* Tutorial 3: writing vertex code* Tutorial 4: profiling output* Tutorial 5: a …

Groqの推論性能

…このツイートの図。 Graphcore C2 IPU seems the last in the chip for inference race, as presented by Groq. pic.twitter.com/OEEqi1YBFl — Jack Harvard (@jack_harvard) 2020年4月18日 Groqの推論性能がバッチサイズ1でめちゃくちゃいいのはいいんですが、 Graphcoreの推論性能がめちゃくちゃ悪いのが気になります。 で、調べてみ…

Graphcoreの例題が更新された(9th April 2020)

@Vengineerの戯言 : Twitter SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった github.com Update (9th April 2020) * BERT update * RESNeXT Update * Various New examples * Improved test coverage * Other miscellaneous fixesここのページに、 Bert Tools Multi-C…

複数Google Edge TPUで Pipeline実行できるようになった。

…e TPU の実行毎に、thread を割り当てている感じですね。 複数のEdge TPUで1つのモデルを実行するだけでなく、Pipeline で実行することでスループットを上げられるということですね。 これって、「 Graphcore の3つのケースの MODEL PIPELING 」と同じですよね。 vengineer.hatenablog.com Graphcore の場合は、チップ間も直接接続しているけど、Edge TPU の場合はホストメモリ経由になってしまいます。

Graphcoreのドキュメントが公開されたよ

…9公開から始まった Graphcoreが以下のドキュメントを公開したよ。 The @graphcoreai IPU is a highly parallel processor, specifically designed for machine learning and AI applications. Learn more about its unique architecture in the IPU Programmer's Guide https://t.co/I9…

Mesh TensorFlow の中身を覗いてみた

…って、Groq や Graphcore の Inference のアプローチと同じじゃん。。。 デバイスの設定って、こんな感じに。4つのデバイスを devices = ["gpu:0", "gpu:1", "gpu:2", "gpu:3"]mesh_shape = [("all_processors", 4)]layout_rules = [("batch", "all_processors")]mesh_impl = mtf.placement_mesh_impl.Plac…

Mesh TensorFlow って?

…んが教えてくれた。 Graphcoreのドキュメントを眺めていますが、Data Parallelだけでなく、Model Parallelができるのはある意味新しいアクセラレータ。。Google TPUもModel Parallelを試みているけど、まだ公式にはサポートはしていないのだろうか?と思って調べてみたら、Mesh TensorFlow ではサポートされているっぽい — Vengineer@アマゾンプライムで映画三昧 (@Vengineer) 2020年3月27日 この…

DellEMC DSS8440 GRAPHCORE IPU SERVER White Paper

…9公開から始まった Graphcore のこのツイートで知った DellEMC DSS8440 GRAPHCORE IPU SERVER Read the first ever @graphcoreai IPU White Paper to learn about #IPU architecture, massively parallel processing and how to accelerate #MachineIntelligence workloads using…

GraphcoreのBenchmark (ResNeXt101)

…習慣がありまっす。 Graphcoreの新しいブログ www.graphcore.ai では、ResNeXt101の推論のベンチマークを行っています。 ベンチマークは、Microsoft Azure cloud で利用可能な、C2 card 1枚 (2 IPUプロセッサ)。 実際には、6枚のCardを使った模様。何故?8枚じゃなかったのだろうか? レポートは、こちら。 モデルは、PyTorchで学習したものを ONNX に export して、その ONNX モデルを Pop…

GraphcoreとSambaNovaが追加資金調達

…9公開から始まった Graphcoreは皆さん知っていますよね。 SambaNova Systemsはどうですか? あたしは、次に来るのは、SambaNovaだと思っています。 Graphcoreが追加資金(R&Dと顧客開拓のため)に、1憶5000万ドルを調達。 累計、4億5000万ドルに。 jp.techcrunch.com 最近、GraphcoreのTwitterにいろいろ流れてきますね。 また、SambaNovaが2億5000万ドルを調達。 こちらは、4億5600万ドル…