はじめに NVIDIA H100に対して、H200の LLM Inference 性能が向上すると、NVIDIAは下記のように言っています。 www.nvidia.com LIama2 13B で、1.4X GPT-3 175B で、1.6X LIma2 70B で、1.9X です。 H100 => H200 になって変わったもの H100からH200になって…

はじめに Xの下記の投稿に、Intel HabanaLab Gaudi2/Gaudi3に関することが書いてあったので、記録として残します。下記の投稿を説明のために引用します。 Pat Gelsinger: Our accelerator pipeline for 2024 grew double digits QoQ in Q4 and is now well a…