はじめに
Cerebras Systems が GPT 系のモデルの学習のために必要な費用を公開しています。
どのぐらいするの？
下図は、上記の記事からの引用です。
- GPT3-XL : 1.3B parameters で、0.4 日、$2,500
- GPT-3 6.7B : 6.7B parameters で、11 日、$40,000
- GPT-3 13B : 13B parameters で、39日、$150,000
- GPT 70B : 70B parameters : 85日、$2,500,000
$2,500,000 って、138円換算で 3億4500万円です。
Cirrascale 、昔は、CS-2 を下記の価格で貸し出していたんですが、あまり借り手がいなかったんですかね。。。1週間で $60,000 だったのが、GPT-3 6.7B が11日で$40,000 なのでお得なんでしょうかね。。。39日で $150,000 なので
- $60,000 per week
- $180,000 per month
- $1,650,000 per year
おわりに
Cerebras SystemsのCS-2。顧客がモデルをガチで使うより、モデルが決まっていて、学習するための道具として使ってね作戦になったのかな？