@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった
アマゾンも攻めてきた。推論用チップ Inferentia だけでなく、学習用チップ Trainium をアナウンスしましたね。
techcrunch.comaws.amazon.com
開発には、推論チップである AWS Inferentia と同じ AWS Neuron SDK
AWS Neuron SDK では、FP32 を BF16 に自動的に変換してくれるっぽい。
ということは、学習用 Trainium は FP32ではなく、BF16で学習するんじゃないかな？そうすれば、FP32からBF16への変換も必要ないしね。
AWS Neuron SDKのドキュメントは、こちら。
awsdocs-neuron.readthedocs-hosted.com
それから、AWS Neuron SDK では、NeuronCore / NeuronCore Groups / NeuronCore Pipe というのがポイントっぽいので、ここいら辺が Trainium にも関係してきそう。
awsdocs-neuron.readthedocs-hosted.com
下図は、組み込みURLにて引用しています。
