Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう!

graphcore の検索結果:

Graphcoreのgithubが更新された

…lar APIにて、Graphcore内のTileにマッピングするにはどうしているかも多少分かります。Custom Opを読み込んでいるが、このCuston Opについては、Creating a simple Tensorflow Custom Op にあるね。 Popart pipeline の例題には解説が付いていませんが、ソースコード (pipeline.py) を見ると、 # ------------ Model Definition ----------------…

TensorFlow LondonのGraphcoreプレゼンビデオ

…9公開から始まった GraphcoreのこのツイートからTensorFlow LondonでのGraphcoreのビデオが公開されたことを知りました。 Another chance to listen to @graphcoreai's Dave Lacey talk about IPUs, #TensorFlow and how to use both for #ML innovation! @ThinkRiseLDN @seldon_io Watch the full r…

Graphcoreを1週間使うと、4000ドル

…9公開から始まった Graphcore、Azureで使えるようになるようですが、既にクラウドサービスをやっているところがあります。Cirrascal Cloud Servicesにて。 cirrascale.com でお値段ですが、時間貸しは1か月15999ドル、1週間4000ドル、 1時間21.92ドル相当。Graphcoreは、PCIeボードが1枚(チップは2個) Graphcore IPU CloudStarting at$15,999 /month—or— $4,00…

Cloud Deep Learning Chipsのおまとめスライド

…un (HBM2) Graphcore:GC2 (SRAM) Cerebras:CS-1 (SRAM) Inference Google:TPU v1 (SRAM) Intel Nervana:NNP-I (DRAM) Habana Labs:Goya (DRAM) <= Intel が買収 Groq (SRAM) Alibaba:Hanguang(含光) 800 (SRAM) だけあるんですよね。 でも、推論用チップで外販しているのは、Intel NNP-I、GoyaとGr…

今年(2019年)を振り返って

…と楽しめそうだ。 ・Graphcoreの実態(実物や性能)が分かってきた ・Intel GPUのアナウンス ・Jetson Nano、Google Edge TPU、Raspberry Pi 4とかなり盛り上がり、からあげさんとも逢えた。 特に、Google Edge TPUは2か月毎に機能強化および新しいモデルが出て強烈 ・Intelが oneAPI (SYCL) で、勝負をかけてきた ・MicrosoftのONNXRuntimeのProvidersが10種類になり、かなり…

Intel NNP-Tのサーバー

…います。 これって、GraphcoreのPCIeボードを8台搭載したDellサーバーと同じようなもの? 違いは、Graphcoreの場合は、PCIeボード間をコネクタで繋いている。 これに対して、Intel Nervana NNP-Tでは、 下図(画像をURLで引用します)The system Supermicro had on display at Supercomputing featured eight OAM cards connected in a hybrid c…

GraphcoreのBertのコード

…9公開から始まった Graphcoreのサンプルコードには、ResNetもありますが、もっと大きな Bert github.com 以下の2種類のBertモデルにて、学習 BERT Base – 12 layers (transformer blocks), 110 million parameters BERT Large – 24 layers (transformer blocks), 340 million parameters Graphcoreでは、 BERT L…

実は、巨大なカスタムFPGAだった、Cerebres SystemsのWSE

…います。 それなりの複雑な処理をするプロセッサみたいなものであれば、配置配線は必要ありませんが、単純なALUみたいなものが大量にあるときには、配置配線が必要であり、配置配線が性能に影響を与えるのです。 おまけ。 下記の Graphcore のブログで紹介した、3つのケースの内、MODEL SHARDING では複数チップにモデルを分割するので、これもある配置という点では関係がありそう。分割の仕方次第では性能に影響を与えるので。 vengineer.hatenablog.com

GraphcoreのIPU Architectureの分析論文

@Vengineerの戯言 : Twitter SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった 記録のために、 GraphcoreのIPU Architecture の分析論文がアップされています。91頁です。 arxiv.org

GraphcoreのPopARTを覗いてみる

…9公開から始まった GraphcoreのSoftwareは、Poplar www.graphcore.ai 下図のURLで引用しています。 POPLARは、 XLA と PopART Graph Libraries (PopLIBS) Graph Compiler Graph Engine から構成されているようです。 では、PopARTを github にて公開されている example の中から見つけてみまっす。 ResNetのサンプルコード。PopART library…

Graphcoreの3つのケースとは?

…FlowLDN で Graphcore に関するものを見ていきます。 www.eventbrite.com The final #TensorFlowLDN of the year 🎄 and David Lacey from @graphcoreai kicking us off @ThinkRiseLDN.Subscribe to our YouTube channel for speaker content 📺 https://t.co/fSwMaj5Qs8 #mach…

Graphcoreのgithub

…9公開から始まった Graphcoreの github がかなり前からあるのは知っていたのだが、examples がアップされていました。たぶん、SC19にあわせてアップされたようです。 github.com このブログに書いてありました。 Customers are able to replicate our benchmarks using code we will make available as public examples on the Graphcore Gi…

Graphcoreの詳細というか、図。

…度も取り上げている Graphcore 。 学習用チップで、PCIe ボード上に2個載ったものがDellのサーバーに8枚ささっているものが Microsoftのクラウドにて利用できるようになっています。 vengineer.hatenablog.com Dellのサーバー(4U)は、下のような写真(URLで引用します)がGraphcoreのサイトにあります。 そんな Graphcore ですが、このブログで取り上げたのは、なんと2017-04-30です。2年半も前です。 ve…

NUVIAとは?

…この記事によると、 Graphcore:シリーズD投資のおよそ2億ドル(約220億円 Groq:5200万ドル(約57億円) Cerebras(セレブラス)1億1200万ドル(約122億円) を調達(3社ともチップとボードを公開済み)。この記事にある NUVIAは、シリーズAで 5300万ドル(約58億円) で、NUVIAとは? www.reuters.com サイトは、こちら。 nuviainc.com Arm系のCPUコアに強い人たちが集まっている模様。 職もいっぱいあっ…

Groqがチップを公開

…とが分かりました。 Graphcore、Cerebras Systems、そして、GroqがDRAM無しのソリューションなんですね。DRAMを搭載すると、コストが上がるので、SRAMだけでできるようになれば、ボードのコストはかなり安くなると思います。 現時点では、シングルチップ構成だけど、チップにはチップ間インターフェースがあって、大きなモデルを複数チップにて実行できると。 また、A0シリコンで量産に進んだ模様。パートナーにもわたっていると。 現在は、PCIeカードのみだけど…

Graphcore、Microsoftとの協業を発表

…review of Graphcore IPUs on the Microsoft Azure cloud.https://t.co/V6vy8QdQji — graphcore (@graphcoreai) November 13, 2019 によると、MicrosoftのAzureにて、GraphcoreのIPUが使えるようになると。 今週のSC19にて、いろいろとあるそうな。 Graphcoreの性能は、あの BERT の BERT Baseなるモデルの学習を8枚の I…

MLIR が LLVM の配下に

…ms Google Graphcore Habana Intel Mediatek NVIDIA Qualcomm Technologies, Inc SambaNova SAMSUNG Xiaomi Xilinx とロゴはあります。その他にブログ内では、IBM もとありますね。 SambaNova – AI for Everyone って、知らなかったんだけど、 AIハードウェア企業SambaNova、グーグルとインテルから160億円調達 | Forbes JAPAN(フォ…

SIG MLIR Open Design Meeting

…DIA、Apple、Graphcore、Intel、Alibaba、Sensetime、Imagination、AMD、Ciscoから参加があったようです。 今後は、下記のようについて議論していくようです。 ・MLIR dialects for TensorFlow (Mehdi Amini, Google) ・Quantization (Stella Laurenzo, Google) ・What is a dialect? (Albert Cohen, Google) ・…

Graphcore、500人増強

…日)にブログに書いたGraphcore Graphcoreの企業価値は、$1.7B 続報として、Graphcore to Hire 500 as U.K. Chip Startup Expands in Cambridge だって、3年間で、500人だよ。凄いスピードで人増えているよ。 LinkedInには、200人以上が登録されているしね。。。 Beijing and in Hsinchu, Taiwanにもオフィス構えて、IPOの準備もしているって。 2019年の売り上げ…

Graphcoreの企業価値は、$1.7B

…9公開から始まった Graphcore CEO Touts 'Most Complex Processor' Everより 引用 Graphcore (Bristol, UK), Launched with VC backing in 2016, the company raised $200 million at its last funding round in December 2018, based on a company valuation of $1.7 bil…

Graphcore 200Mドル追加

…ドルを調達している「Graphcore」。 このブログでの2017年5月17日に初めて取り上げて、その後、何度か、記事をアップしています。 2017/5/9、Graphcore 2017/7/4、Graphcore、この後(7/8)、直ぐにチップ名(Colossus)が分かっていたのと、エンジニアを募集していた模様。 この時点で、Early Accessが end-2017 2017/10/31、Graphcoreのベンチマークデータ 2018/1/14、なかなか出てこない …

GraphcoreのPod

…9公開から始まった GraphCoreのチップが出てきたから2週間。 Graphcoreは、今度は、Pod を。。。 INTR‌‍ODUC‍ING‌ THE G‍R‌A‍P‍HCORE R‍AC‍KSC‌A‌LE IP‌U-P‍O‍D‍™ 1つのラックで32サーバー。サーバーには、4個のIPUと2個のプロセッサなるものが載っている写真が。 4個のIPUには外部メモリが無さそう。一方、2個のプロセッサなるものには、1個に対して、2枚のDRAMスロットが。。 上のブログにも書きま…

GraphCoreのチップが出てきた

…ら始まった New GraphCore GC2 chips with 2PFlop performance in a Dell Server Dell EMCのサーバーに搭載されて売られるって。IntelのFPGAボードと同じ感じかな。 このブログでも、11月4日に書いたColossus GC2 chipは、IPU-Cores なるものが1216個搭載されていると。 各IPUは、100GFlopsでかつ、7スレッドで動く。また、チップあたり300MBのメモリを持ち、30TB/…

Graphcoreのチップ名は、Colossus

@Vengineerの戯言 : Twitter SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった C‌O‌‍LOSSU‌S, PO‌P‌‍LA‌R‍ AND TOMMY‌ FLO‍WER‌S... Wikipediaによると、 (コロッサス、本来の意味はロードス島の巨像の名 ということに。。。 でも、 we named our first IPU processor Colossus™ after the world’s very…

AI Hardware SUMMIT、めっちゃ高い

…ics Inc. ・Graphcore ・Intel ・Habana Labs (Webサイト無いです) ・Microsoft ・Xiaopeng Motors ・Google Brain ・Facebook ・Synopsys からの講演があるようです。 スピーカーを見ると、もっと出てきます。 ・Xilinx ・IBM ・AMD ・Mythic ・NVIDIA ・GyrFalcon Technology ・Qualcomm ・eSilicon ・Atere Research…

LightMatter

…・Cerebras Systems ・DeePhi ・Graphcore ・Groq ・Horizon Robotics ・KnuEdge ・Lightmatter ・Mythic ・Tensotorrent 。Thinci ・Wave Computing この中では、AImotive、Lightmatter、Tenstorrent は知りませんでした。 AImotiveは名前のとおり自動運転用チップ開発。 Tenstrorrentは、Google君に聞いてもわからない。。。

なかなか出てこない Graphcoreの実体

…9公開から始まった GraphcoreのCEOのSally Dohertyが Twelve computational graphs for Christmasにて、 引用 Our C++ software framework, called Poplar, interfaces seamlessly to leading machine learning frameworks like TensorFlow. Poplar automatically converts th…

TensorFlow XLAに踊らされた人から

…出す感じに。そして、GraphcoreがXLAのpluginコードを提供。 9月3日の今日は、Deep Learning Accleralation勉強会ですねでは、「TensorFlow XLAの可能性」ということで、Intel Nervana や Graphcore の関係を皆さんに伝えました。 Deep Learning Acceleration勉強会、2017年9月3日(土) TensorFlow XLAの可能性 (渋谷ヒカリエのDeNAに入ったのは初めて~) 折角な…

Cambricon

…mputing と Graphcore は、それぞれ、60Mドルを、集めた。 (出資者の中には、DeepMindのDemis HassabisやOpenAI/UberのZoubin Ghahramaniも居ると) そして、Cambricon ・中国のCambriconは、 今年8月にシリーズAとして、100Mドルを Alibaba や Lenovo から集めた。 Cambriconの時価総額は、1Bドルという。 に。 引用 「Cambricon-1A」は1秒間に160億ものニ…

Graphcoreのベンチマークデータ

…LAで注目している「Graphcore」がブログにて、ベンチマークを公開。。。 P‌R‌‍ELIMINA‌R‌Y IPU BENCHMA‌R‌KS - P‍R‌‍O‍VID‌ING‌‍ P‍R‍EVIOUSLY U‍NSEEN P‍ER‍FO‌‍R‌MANC‌‍E FO‍R‌‍ A R‍A‌NG‌E OF MA‍CHINE LEAR‍NING A‌P‌‍P‌LIC‌‍A‍TIO‌NS ・CNN model training (even at low batch sizes) …