はじめに
AppleがNVIDIAのGPUではなく、Google TPUを使って学習したようなので記録に残します。
Apple Intelligence Foundation Language Models
The AFM models are pre-trained on v4 and v5p Cloud TPU clusters with the AXLearn framework [Apple, 2023], a JAX [Bradbury et al., 2018] based deep learning library designed for the public cloud.
AXLearn framework : The AXLearn Library for Deep Learning
- AXLearn is a library built on top of JAX and XLA to support the development of large-scale deep learning models.
Google TPU v4/v5p を使用
上記の論文によると、
- 8192 TPU v4 chips ( 8 x 1024 )
- one slice of 2048 TPU v5p chips
おわりに
GoogleはAppleにデフォルトの検索エンジンとしてGoogleを使ってもらうために、かなりの金額を払っています。
例えば、
によると、2022年では、200億ドル($20B) のようです。
となると、Apple が 学習するために、Google の TPU をめっちゃたくさんつかったとしても、まー、$20B にはならないでしょう。
これなら、Apple の要求に答えるために、TPUの数を増やすということもできそうです。