Twitterで教えてもらいました。記録のために、
TensorFlow XLAでは、JITをサポートしています。
PyTorchでもJITをサポートしているようで、
decisions and challenges of writing an imperative deep learning framework by Facebook AI Research
decisions and challenges of writing an imperative deep learning framework by Facebook AI Research
3頁目の「DeclarativeとImperative」って、Chainerの特徴を説明した15頁の
・define-and-run <=> Declarative : theano, Caffe, TensorFlow ・define-by-run <=> Imperative : Chainer, PyTorch, TensorFlow Eagerのことなんでしょうかね。
Torchに対して、計算時間は多少速くなったり遅くなったりしていますが、使用メモリは半分以下になっていますね。