はじめに
AWS Trainium 内には、2つのNeuronCorev2 があり、各NeuronCorev2には On-chip SRAM Memory が載っています。このSRAMをどのように使っているのかがわかりました。
OpenXLAの講演ビデオ
(AWS) Innovating with XLA for the Neuron compiler for AWS Trainium and Inferentia
の中で、SRAMを Scratch Pad と使っていると言っています。その部分を説明のためにキャプチャしました。
2つのHBMとSRAMの間をDMAでデータを移動しているっぽいです。
おわりに
OpenXLAのYoutubeには、いろいろな講演ビデオがありますよえ。
