Tenstorrent の Blackhole の性能は、1000 8b TOPS、NVIDIA H100 (2000 TOPS)の半分の性能！

はじめに

Tenstorrent の Blackhole の性能ですが、8bit であるものの 1000 TOPS 。NVIDIA H100 の FP8 が TensorCore で 2000 TOPS (dense) なので、半分の性能です。

vengineer.hatenablog.com

Blackhole の性能

上記のブログにも載せた Tenstorrent のスライドを説明のために引用します。

• Grayskull : GF12、315 8b TOPS
• Wohmhole : GF12、350 8b TOPS

• Blackhole : 6nm、1000 8b TOPS

• NVIDIA A100 の INT8 が 624 TOPS

• NVIDIA H100 の FP8 (sparse) が 4000 TOPS、FP8 (dense) が 2000 TOPS

• GF12の Worhmhole は、TSMC 7nm の A100 の半分の性能

• 6nm の Blackhole は、TSMC 4nm の H100 の半分の性能

プロセスを考えると、Tenstorrent のものは 性能がいいですね。

ただし、メモリが GDDR6 なので、そこがボトルネックになる可能性があります。

おわりに

あまり気にしていませんでしたが、Tenstorrent 、8b ではあるものの 性能いいですね。