はじめに Xの投稿にて、GroqのLLM Inferenceが超絶速いというのが流れてきます。 groq.com にアクセスすると、 Mixtral 8x7B-32K LIama 2 70B-4k が動きます。デフォルトは、Mixtral 8x7B-32K のようです。 とりあえず、質問してみました。 GroqのTSPがLLM推…

はじめに 昨日、SambaNova SystemsがLLM Inference に PIVOT していたということを書きました。 vengineer.hatenablog.com 今日は、その先、どうするかを見ていきます。 募集 SambaNova Systemsの募集、Principal Engineer, Memory and Interface IP Integra…