はじめに

TPU v1/v2/v3/v4 の開発者について、振り返りました

TPU v1

2017年4月14日にGoogleが公開したTPU v1に関する論文

上記の論文の筆頭者である、上記のブログの著者であるDistinguished Hardware Engineerの Norm Jouppi -san

2021年10月にFellowになっていたようです。1976年に大学に入ったと仮定すると2021年で18歳+45年 = 63歳ぐらいですかね。TenstorrentのCEOであるJim Keller -san が1980年から働き始めたということなので同じぐらいの年齢なんですかね。

TPU v2/v3 も

Norman P. Jouppi (Google): A Domain-Specific TPU Supercomputer for Training Deep Neural Networks

www.youtube.com

に TPU v2 の Vector Unit (Lane) のブロック図が載っていたので、説明のために引用します。

x128とありますので、Vector Unitは128個あるようですね。これは 128 x 128 の乗算器に対応するために 128個あるんでしょうね。TPU v1では、256 x 256 だったが、TPU v2 では 128 x 128 に変更した理由は、下記のようなためです。こちらも説明のために引用します。