Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう!

2024-02-21から1日間の記事一覧

Groq で LIama 2 70B を推論システムとして使った時の規模とお値段を妄想する

はじめに 昨日のGroqp祭りに便乗したことにより、昨日のブログのアクセスが1,554と通常の2~3倍になりました。 vengineer.hatenablog.com また、Google からの流入が増えているので、Groq で Google検索してみたら、なんと、2番目に出るようになっていました…

NVIDIA H200のメモリ帯域は 4.8TB/s、B100のメモリ帯域は、どうなる?

はじめに NVIDIAのH200。H100に対しての変更点は、メモリが HBM3の96GBからHBM3eの141GBになっただけ? で、メモリ帯域は?と調べてみたら、下記の記事では、4.8TB/s とありました。 gigazine.net HBM Roadmap 下記のTrendforceの記事によると、 HBM3 : Sams…