Apple が Google TPU を使って、学習をしているんですね。

はじめに

AppleがNVIDIAのGPUではなく、Google TPUを使って学習したようなので記録に残します。

arxiv.org

Apple Intelligence Foundation Language Models

• The AFM models are pre-trained on v4 and v5p Cloud TPU clusters with the AXLearn framework [Apple, 2023], a JAX [Bradbury et al., 2018] based deep learning library designed for the public cloud.

• AXLearn framework : The AXLearn Library for Deep Learning

  • AXLearn is a library built on top of JAX and XLA to support the development of large-scale deep learning models.

Google TPU v4/v5p を使用

上記の論文によると、

• 8192 TPU v4 chips ( 8 x 1024 )
• one slice of 2048 TPU v5p chips

おわりに

GoogleはAppleにデフォルトの検索エンジンとしてGoogleを使ってもらうために、かなりの金額を払っています。

例えば、

• Google支払い金額が明らかに、Appleへ2兆円超

によると、2022年では、200億ドル($20B) のようです。

となると、Apple が 学習するために、Google の TPU をめっちゃたくさんつかったとしても、まー、$20B にはならないでしょう。

これなら、Apple の要求に答えるために、TPUの数を増やすということもできそうです。