MosaicMLという会社

はじめに

Nervana Systemsの元CEOのNaveen Rao san (@NaveenGRao)が2021年10月13日(日本時間、2021年10月14日)に創業したMosaicMLがステルスモードから情報を公開しました。

前日、こんなツイートしています。

Some exciting news tomorrow!

— Naveen Rao (@NaveenGRao) 2021年10月13日

MosaicML という会社

サイトは、https://www.mosaicml.com// です。

会社のロゴは、こんな感じ、説明のために、サイトの一番上にあるロゴの画像を引用しました。

MLが右上にあるっぽいですね。

Twitterのアカウント名は、@MosaicML です。

さあ、公開されている情報を徹底的に掘り下げてみましょう！

Team

まずは、Team、つまり、人です。人がすべてと言っていいほどだと思っているので、この部分は非常に重要です。

• CEO & Co-founder : Naveen Rao (元Nervana Systems CEO => Intel に買収、2020年3月まで、2020年12月創業)
• CTO & Co-founder : Hanlin Tang (元Nervana Systems Software => Intel に買収、2020年11月まで、2020年12月創業)

CTOの Hanlin Tang san は、Nervana Systemsの時は、Senior Algorithm engineer ということなので、この点からもハードウェアではなさそうですね。

2021年10月13日にアップされたブログ

Making ML Training Efficient, Algorithmically! には、

とありますので、

• Founding Advasor : Michael Carbin san (Twitter ID : Michael Carbin (@mcarbin) | Twitter )
• Chief Scientist : Jonathan Frankle san (Twitter ID : Jonathan Frankle (@jefrankle) | Twitter )

が主要メンバーだと想定しています。

Our mission is to reduce the time, cost, energy, and carbon impact of AI / ML training so that better AI models and applications can be developed.

とありますので、学習時のコスト、エネルギー消費を削減するための会社、という感じですかな。

10月8日の Naveen Rao san の下記の連投Tweet。このTweetの中で、MosaicMLのミッションのことを言っているのではないでしょうか・

Lessons learned after being in AI HW for 8+ years…

Every chip startup talks about perf...It was the game 4 years, but now we need to look at perf/$.

If I were to build a new AI chip today, it would be built out of the cheapest technologies I could find. Let me explain:

— Naveen Rao (@NaveenGRao) 2021年10月8日

もう、性能だけではなく、コスパ(性能/ドル)になってしまっていると。まあ、最初からそうですから。性能だけじゃ、ビジネスできないので。。。

そして、上のブログには、

We tackle this problem at the algorithmic and systems level.

とあるので、ハードウェアではなく、アルゴリズムとシステム・レベルで解決すると。。。

調達資金は、37Mドル。

プロダクト

• [Compose] : github にてソースコードを公開しています

Composer is an open-source library of methods for efficient ML training and ways to compose them together into recipes. At launch, we’ve implemented around 20 different efficiency methods curated from the literature and rigorously benchmarked their performance benefits. Along with several strong baselines, we aim to accelerate the path from research to industry with reproducible code and ease-of-use. See our Methodology blog for more information on the science underpinning Composer. Many more methods, models, and datasets will be coming on-line in the coming months!

Composerは、Algorithmic Methods の内容を実装したものっぽい。

Methodology というブログでは、下記の用いこれらのライブラリを増やすとも書いてあります。

In the coming months, we will continue to grow our open-source library of methods and work with customers to reduce the time and cost of their existing workloads and take on more ambitious machine learning problems.

• [Explorer] (https://app.mosaicml.com/library/imagenet) は、Visualization tool その他: YAHP: et Another HyperParameter : github にてソースコードを公開しています

Explorer is an interface that establishes a language to talk about efficiency. Choose the best set of methods for your desired tradeoff between quality and cost or training time. Visualize measured trade-offs of cost, time, and quality across thousands of training runs on standard benchmarks. Filter by method, cloud, and hardware type to reach your optimal operating point.

Explorer のページを見ると、Image Classification (ImageNet) の Dataset の ResNet-50, 16-bit (A100) のBaseline model を使って、いろいろな インフラ(AWS、GCP) & Methods にて学習したら、時間、精度、コスト どうなるのかを表示してくれています。

おわりに

学習時のコスパを良くするサービスを提供する MosaicML 。このビジネスがどのくらい成長するかは、あたしにはわかりませんが、ディープラーニングでのハードウェア開発のブームは終わったのではと感じています。

下記のブログ(AIコンサルタントのKarl Freund san (@karlfreund) によると、

www.forbes.com

競合は、

• Codeplay : OpenCL/SYCL でずーと注目している会社です
• OctoML : TVM開発メンバーの会社です

っぽいです。