はじめに NVIDIA -san 推論用のTensorRTに、LLM専用のパッケージをリリースしました。 github.com サポートデバイス 上記のgithub.comのREADME.ｍdによると、サポートデバイスは、 H100 L40S A100/A30 V100 (experimental) で、基本的にはお高いGPUのみです…