…icks の一部)、OctoML、ServiceNow、Tabnine、Together AI、Uber などの主要な企業と緊密に協力し、LLM の推論の高速化と最適化に取り組んできました。 とあります。 これだけ多くのカスタマーがLLMの推論の高速化と最適化をやっているんですからね。。。。 これらのイノベーションは、オープンソースの NVIDIA TensorRT-LLM ソフトウェアに統合され、Ampere、Lovelace、Hopper GPU に対応し、数週間以内にリ…

…目している会社です OctoML (今は、OctoAIに名前が変わっていた) : TVM開発メンバーの会社です っぽいです。 Codeplay は Intel に2022年6月1日に買収されています。残るは、octoML ですね。 おわりに 日本って、買収少ないですよね。。。まー、$1300M って、桁が違いますよね。とは言え、 下記の7月10日のブログに書いたように、LLMで勝負するには、1000億円は必要なので。。とはいえ、$1500M は 2000億円以上ですが。。。 …

…スパを良くするサービスを提供する MosaicML 。このビジネスがどのくらい成長するかは、あたしにはわかりませんが、ディープラーニングでのハードウェア開発のブームは終わったのではと感じています。 下記のブログ(AIコンサルタントのKarl Freund san (@karlfreund) によると、 www.forbes.com 競合は、 Codeplay : OpenCL/SYCL でずーと注目している会社です OctoML : TVM開発メンバーの会社です っぽいです。

…りますね。 競合は、OctoML、Deci、DeepCube、Neural Magic、DarwinAIだと。OctoMLしかしらないですよ。また、調べないと。。。 この時点で従業員は18名 venturebeat.com The Nextplatform も書いていた www.nextplatform.com この記事が一番新しいっぽい(2021.5.5) aithority.com 資金調達 上記の記事の最後にあったのは、下記の記事。2021年2月に$8M調達。2018年…

…心となって創業した OctoML が サポートサービスをやっているんですよね。TVM Conf - Day 1 - Keynote and Community Update の OctoML の部分(下図は51:44頃)での OctoML のカスタマーは、 AMD Qualcomm Microsoft BOSCH SiMa.ai その他に、2社。こういうサービスがないと対応が独自になっちゃうからね。 おわり。P.S Amazon SageMaker も BYOC 対応している…

…デオの51:37頃のOctoMLのスライドで、SiMa.ai のロゴが載っているので、OctoMLが協力しているということが分かりますね。 www.youtube.com まとめ、 SiMa.ai の MLSoC は、カメラ(MIPI x4)から入力された動画を Camera ISP にて前処理した後に、CPU + MLA を TVMベースにてドライブするというものだということが分かりました。 なお、Computer Vision IP (Synopsys EV74はTVMで…

…も何度も 取り上げたOctoML は、uTVM に結構力をいれています。 なんと、µTVM RPC server PR has merged TVM は、RPCを使って、ターゲットと接続していろいろとできるのですが、 uTVM でもできるようになったんですね。 この点は、TensorFlow Lite for Microcontroller より便利？ ターゲット側は、Zephyz,, mBED on STM32F746 です。それなりのマイコンです。 (とうぜん、RPCを使…

…9公開から始まった OctoML主催の Apache TVM meetup 参加者も登場しています。基本的には、OctlML のメンバーがいろいろお話しています。 youtu.be アジェンダは、 uTVM Today Upcoming RFCs uTVM Portability uTVM CI Future Work uTVM Roadmap Standalone Model Execution Quantization Improvements Q & A and Dis…

@Vengineerの戯言 : TwitterSystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった このブログでも以前紹介した「μTVM」 こちらは、紹介記事で medium.com こちらが全文。 tvm.apache.org μTVMは、TensorFlow Lite for Microcontrollerの対抗 μTVMは、AutoTVMにて、実機で実行した時間をベースにチューニングができるというもの。特別なハードウェア無しに、…

…ss.tvm.ai OctoMLのツイートは、これ。 Video of our first TVM Online meetup is now up!Checkout updates on Unified IR, @Arm's new Ethos-N accelerator integration work on TVM, and other goodies:https://t.co/qgFTXTva97 — OctoML (@octoml) 2020年5月21日 ビデオのここ…

…9公開から始まった OctoMLのブログ：Riptide: Fast, Full Binarization in TVM medium.com 上記にある図(URLを組み込んで引用します)を見ると、 一般的はものは、すべてを二値化するのではなく、部分的に二値化するんですね。 図を見ると、処理が重いConv(最初のレイヤー以外)をQConvに変えていますね。 これに対して、Riptideでは、次の図(URLを組み込んで引用します)にあるように青のレイヤーも二値化するんですね。 …

…たしが注目している「OctoML」が Series A で 15Mドルを集めた模様。 medium.com 日本語訳も出た jp.techcrunch.com 創業時は6名だったメンバーもこの半年で12名に。それほど急激にはメンバーを増やしていませんね。下記のツイートにもあるようにメンバー増えていますね。 What a couple of weeks for OctoML! Andrew Reusch, Michal Piszczek, Jordan Brennan, and…

…状況ではね。。。。 OctoMLのブログ。。。ブログと言えば、medium になったね。 medium.com OctoMLのファーストプロダクトの「The Octomizer」 この件に関しては、このブログでも2019年12月14日に紹介しています。 vengineer.hatenablog.com その時のスライドは、これ 。 $ pip install octomizer$export OCTOML_ACCESS_TOKEN=... import octomizermo…

…hang Optimizing BERT with TVM on GPU では、NVIDIAのV100では、TensorFlow GPUに対して、Customized optimizationの方が3倍以上速くなったと。。。 そして、TVM開発メンバーが創業した会社 OctoML TVM @ OctoML – Jason Knight Octomizer: deep learning optimization as a service というものをアナウンスしたみたいですね。

…た、下記のブログで紹介した、TVMメンバーが起こした会社のOctoMLのCo-founder and CPOのJason Knightさんは、Nervana SystemsのStaff Argolisms Engineer。 vengineer.hatenablog.com それ以外に、Cerebras Systemsに移ったりしています。 AIはテクノロジーだけ取り込んでも、人が居なくなってしまったら、ダメな模様。。。 なので、また、買収するのかな？ 3年周期ぐらいで。。。

…019 TVM @ OctoML – Jason Knight とあるのが気になりました。それ以外のAWS, Facebook, Alibaba, Microsoft, ARM, Xilinx, Qualcomm, Intelは知っていましたが。。。 その後、このツイートが流れてきて、OctoMLという会社ができたんだぐらいに思っていました。 Want to help everyone securely deploy optimized deep learning model…