Google TPU、Intel Nervana Lake Crest、MicrosoftのBING用FPGA

Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

先週はGoogle TPUの詳細論文が公開されましたよね。
In-Datacenter Performance Analysis of a Tensor Processing Unit​
解説記事は、NextPlatformのFirst In-Depth Look at Google’s TPU Architecture
NextPlatformの記事はいつも素晴らしいですよね。
NextPlatformの続編です：Does Google’s TPU Investment Make Sense Going Forward?
続編にあるNVIDIAの対抗ブログ：AI Drives the Rise of Accelerated Computing in Data Centers

丸山さんのGoogle TPUの論文の日本語訳：その1、その2
安藤さんのGoogleのAI開発を支えるディープラーニング専用プロセッサ「TPU」 - ISCA論文レビュー版から、その仕組みを読み解く

追記)、2017.04.15
機械学習用チップの性能評価 : TPU の研究論文を公開
追記)、2017.04.22
WIRED : かくしてグーグルは独自の「AI専用チップ」を開発した

Evaluation of the Tensor Processing Unit: A Deep Neural Network Accelerator for the Datacenter
ということで、Googleに移った「David Pattersonさん」の講演があるようです。

Google TPUって、PCIe Gen3 x16接続のボードなんですよね。
XeonサーバーにNVIDIA GPUを接続するところをこのTPUを接続するんですよね。
ローカル接続のメモリがDDR3なのは、このボードは既にGoogle内でガンガン使っているからね。
将来的にDDR4やHBM2にすればメモリ帯域は増やせますね。

追記)、2017.04.29
Perspectives : Tensor Processing Unit by James Hamilton
Groq This: New AI Chips to Give GPUs a Run for Deep Learning Money
TPUのオリジナル開発者10名中8名がGoogleを辞めて、Groq という会社に移ったような。

追記)、2017.05.13
Dave Patterson: Evaluation of the Tensor Processing Unit
An in-depth look at Google’s first Tensor Processing Unit (TPU)
By Kaz Sato, Staff Developer Advocate, Google Cloud; Cliff Young, Software Engineer, Google Brain; and David Patterson, Distinguished Engineer, Google Brain
佐藤さんが。。。。

また、Intel AI Dayがありましたよね。
何故か？申し込んでいなかったので、行きませんでした。

インテルがAIへの本気度を示す、都内で「インテル AI DAY」

技術的な内容は昨年11月の米国サンフランシスコで開催された「AI Day」以上には殆ど無かったようですね。

この中でIntelのNervana Lake CrestがGoogle TPUに相当するものなんだろうね。

Lake Crestは、PCIe拡張カードに搭載され、32GBのHBM2のメモリを搭載。
Google TPUとの大きな違いは、Lake Crestは独自のチップ間インターフェースを6組搭載。
これって、昨日のブログ、Microsoft AIでも出てきたMicrosoftのBING用のFPGAと同じような感じなんですかね。。。

まとめると、

　・Microsoft BING用FPGA     : 2014(?)～
　・Google TPU               : 2015～
　・Intel Nervana Lake Crest : 2017～

となっていますね。

GoogleとIntelはカスタムチップを開発したけど、Microsoftはどうなんだろうか？
で、ここは、Google君に聞けばいいんだよな。

ホイ。。。

見つけました。Senior Hardware Engineer

記録のために引用しておきます

The Hardware, Devices, and Experiences group is a team of highly capable and motivated people with a collaborative culture and a strong track record of delivering strategic impact to Microsoft. The team has driven deployment of programmable hardware (FPGAs) to Microsoft data centers worldwide and is breaking new ground in deep learning/artificial intelligence, high performance computing, and hardware acceleration of infrastructure and scientific applications.     

We are seeking outstanding candidates for full-time Research Hardware/Software Development Engineer (RHDE/RSDE) at all levels to engage in deployment-focused research. The ideal candidate will be intelligent, passionate, determined, and capable of collaborating with multiple groups and disciplines within and outside Microsoft and of working independently on complex engineering and research challenges.     

FPGAのままだよ。

でも、

Preferred Qualifications: 

· Exposure to a broad range of ML techniques, particularly deep learning   
· Proven track record conducting high-quality research     
· Experience in hardware acceleration, hardware/software co-design and innovation with FPGAs/programmable hardware   
· Experience in large-scale distributed systems design and architecture   
· Great cross-team collaboration skills and the desire to collaborate in a team of researchers and developers   
· Strong communication skills (both written and oral) 

で、ML関連、ハードウェア・アクセラレータ、大規模分散システムの設計＆アーキテクチャ。。

FPGAで頑張るんだ。。。