Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう！

TensorFlow XLAに踊らされた人から

TensorFlow #その他コンピュータ
Vengineerの戯言 : Twitter、Slideshare
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

今日はクリスマスで、ブログ書いても、みんな読んでくれないので、QiitaのAdvent Calendar 2017に便乗。

今日のブログは、Deep Learning フレームワークざっくり紹介 Advent Calendar 2017の24日目です。

このブログ、およびリファレンスしているページを読めば、
Google君が教えてくれるTensorFlow XLAの情報がほとんど出てきます。
何しろ、毎週TwitterとGoogleにて、「TensorFlow XLA」で検索していますからね。

ほとんどの人にとって、TensorFlow XLAは関係無いかもしれませんね。
でもね、あたしにとっては、めっちゃ衝撃だったのよね。
それから10か月、いろいろあったことを綴ります。。(笑)

まずは2月20日のブログ、TensorFlow XLAの衝撃を読んでね。

あたしにとっては、Deep Learningのフレームワークって、全く興味がなかったんですが、
このTensorFlow XLAが公開されて、変わってしまったのです。

このブログの最後に、TensorFlow XLA の勉強会を 3月か4月に開催したいと、書きましたが、

1か月後の3月21日TensorFlow XLAのスライドが大体できましたよで、発表用スライドがだいたいでき、
3月28日のTensorFlow XLAの情報と発表にて、発表内容の告知。
4月10日のTensorFlow User Group ハード部 #2に参戦します
4月21日にTensorFlow User Group ハード部 #2で発表しました
  Tensorflow User Group ハード部 #2

  「TensorFlow XLAは、中で何をやっているのか？」
　  TensorFlow r1.0で公開された
　  新規機能であるXLAのソースコードの詳細を解説します。
この勉強会(TensorFlow User Group ハード部 #2)での発表時間は、50分でしたので、
まだまだ、TensorFlow XLAの凄さを伝えきれませんでした。
(六本木ヒルズのGoogleに入ったのは初めて～）

そこで、CQ出版社のインターフェース8月号と9月号にて、
TensorFlow XLAのAOTについて、書きましたよ。
超マニア向けとして。。
  CQ出版社 雑誌インターフェース

    2017年8月号：衝撃的な性能UPの可能性を秘めた注目テクノロジ速報 
　　　　         AIをサクサク動かすGoogle新機能TensorFlow「XLA」を探る

    2017年9月号：最新テクノロジ・マニアの挑戦 ...AIサクサク用TensorFlow XLA AOTコンパイラ探訪 
                 初めてのGoogleソースコード！AI用コンパイラの可能性を探る

TensorFlow User Group ハード部 #2では伝えられなかった、ソースコードの深い部分をじっくり説明できました。

インターフェースに寄稿しただけでは飽き足らず、TensorFLow XLAのJIT版について、継続調査し。

7月3日：TensorFlow XLAに動きありでは、Intel NervanaがTensorFlow XLA 経由でNervana Graphを呼び出す感じに。そして、GraphcoreがXLAのpluginコードを提供。

9月3日の今日は、Deep Learning Accleralation勉強会ですねでは、「TensorFlow XLAの可能性」ということで、Intel Nervana や Graphcore の関係を皆さんに伝えました。
  Deep Learning Acceleration勉強会、2017年9月3日(土)

    TensorFlow XLAの可能性
(渋谷ヒカリエのDeNAに入ったのは初めて～）

折角なので、Chainer Meetup #6 でもお話しました。
  Chainer Meetup #6、2017年9月30日(土)

    TensorFlow XLAとハードウェア
(東京のPFNに入ったのは初めて～）
(発表者だったので、Chainerの黒いTシャツ貰いました。秋になってしまったので、洗濯したけど、まだ着ていません）

10月5日：AlphaICsがTensorFlow XLAをサポートしていることを知り、
10月10日：Intel Nervana Graphのロードマップにて、Intel Nervanaで XLA 経由で Nervana Graphに取り込むことを明確化。

11月10日：Google では、TPU で XLA を使っているとで、やっぱり、Google TPU でも使っている、TensorFlow XLA
そして、NIPS17でのJeff Deanさんのプレゼンテーション資料でもTPU&XLA載っていますね。

そして、今日は、QiitaのDeep Learning フレームワークざっくり紹介 Advent Calendar 2017の24日目。として、今年書いてきたTensorFlow XLAのまとめをしました。

で、これだけじゃ、新しい情報が無いのでつまらないですよね。

ご用意しました。

明日(2017年12月24日)発売のCQ出版インターフェース2018年2月号の特集：
「最強グーグルのAI＆IoT技術研究」の記事の第2部の記事として、
TensorFlow XLAのJIT版について、書きましたよ。
  CQ出版社 雑誌インターフェース

　2018年2月号

　　第2部 AI開発環境の研究
  　　第1章 ディープ・ラーニングの未来大陸を制覇するのは誰だ？ TensorFlow XLAの可能性を探る
    　グーグルAI最強説の研究

  　第2章 数式の専用デバイス割り当て機能絶賛進化中
    　グーグルTensorFlowがいろんなプロセッサに対応できるメカニズム

そして、来年(2108年)は、TensorFlow XLAを使っているといわれている、
Intel Nervana NNP(Neural Network Processor) と Graphcore もリリースされるでしょう。
ということで、
今年2月20日にあたしに大きな影響を与えた「TensorFlow XLA」。来年も注目度高い技術ですよ。

Deep Learning フレームワークざっくり紹介 Advent Calendar 2017の24日目でした。

以下、紹介した勉強会の発表資料、CQ出版社インターフェースの記事、本ブログのエントリです。
リファレンスにどうぞ！

勉強会の発表資料
TensorFlow User Group ハード部 #2 2017年4月21日(金)、六本木ヒルズ Google
TensorFlow XLAは、 中で何をやっているのか？
Deep Learning Acceleration 勉強会 2017年9月3日(土)、渋谷ヒカリエ
TensorFlow XLAの可能性
Chainer Meetup #6、2017年9月30日(土)、東京、PFN
TensorFlow XLA とハードウェア

CQ出版インターフェース掲載記事
8月号：衝撃的な性能UPの可能性を秘めた注目テクノロジ速報 AIをサクサク動かすGoogle新機能TensorFlow「XLA」を探る
9月号：最新テクノロジ・マニアの挑戦 ...AIサクサク用TensorFlow XLA AOTコンパイラ探訪 初めてのGoogleソースコード！AI用コンパイラの可能性を探る

TensorFlow XLAの関連ブログ
2月20日：TensorFlow XLAの衝撃
3月21日：TensorFlow XLAのスライドが大体できましたよ
4月10日：TensorFlow User Group ハード部 #2に参戦します
4月24日：TensorFlow User Group ハード部 #2で発表しました
7月3日：TensorFlow XLAに動きあり
9月3日：今日は、Deep Learning Accleralation勉強会ですね
9月19日：Chainer Meetup #6(その1)
9月30日：、Chainer Meetup #6(その2)
10月5日：AlphaICs
10月10日：Intel Nervana Graphのロードマップ
11月10日：Google では、TPU で XLA を使っていると