Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう!

PyTorchがTPUで動く


PyToch が Google TPU で動くのはある意味、衝撃だった。


Google TPU を利用するには、
TensorFlow にて、Estimator にて記述し、それを TPUEstimator に置き換えるって思っていたので。
今は、Fashion MNIST with Keras and TPUsにあるように、Keras でも TPU が使えるようになってはいますが。。。

それが、PyTorch で利用できちゃうなんて。。。

てか、これって、もしかして、TensorFlow 2.0 への布石なのかな?

TensorFlow の Eager mode が PyTorch と同じようなことをするための仕組み。。。

つまり、PyTorch で Google TPU が利用できるようにしておけば、
TensorFlow 2.0 (eager modeがデフォルト)でも、Estimator => TPU Estimator って感じにしなくてもOK?

いやー、凄いわ。。。。

こうなると、

イメージ 1


にあるように、

  1)、Keras + TensorFlow 
  2)、PyTorch 1.0 (PyTorch + Caffe2)

で、ディープラーニングフレームワークの第1フェーズが終了なんだけど。
どちらでも、Google TPU 利用できちゃうんだよね。。。