はじめに 昨日、Broadcom Tomahawk 4 について、ブログに書きました。今日は、Tomahawk 5 についてです。Tomahawk 4 は 400GbE Switch ですが、Tomahawk 5 は 800GbE Switchです。 Broadcom Tomahawk 5 搭載の 800GbE Switch が 下記のServe the home の記事…

はじめに BoardcomのNetwork Switchである Tomahawkシリーズ。400GbEをサポートするのが Tomahowk4 です。 400GbEということは、50GB/sです。PCIe Gen4 x16だと32GB/sなので400GbEのフル性能を出せません。PCIe Gen5 x16 だと 64GB/s なので400GbEをサポート…

はじめに MosaicML と CoreWeave の Benchmarking Large Language Models on NVIDIA H100 GPUs というブログから、H100の性能がちょこっとわかりました。 www.mosaicml.com H100 と A100 の性能 TF32, BF16, FP16 の性能比が H100 vs A100 で 3.2 倍ぐらいで…