Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう！

OctoMLは、TVMメンバーが起こした会社

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

下記の TVM Conferenc 2019 の Program の中に、

 TVM @ OctoML – Jason Knight

とあるのが気になりました。それ以外のAWS, Facebook, Alibaba, Microsoft, ARM, Xilinx, Qualcomm, Intelは知っていましたが。。。

その後、このツイートが流れてきて、OctoMLという会社ができたんだぐらいに思っていました。

 次の日、octoml.ai に行ってみたら、なんか見たことのある人の写真がいっぱい出てきて、Jason Knight さんの写真も。。。いろいろ調べてみたら、Jason Knight さんは、OctoML のファウンダー & CPO になっていました。その他の人達はワシントン大学の教員、学生、っぽくって、そう、TVM の開発メンバーだったんですよ。

OctoML のサイトでも TVM についていろいろ書いてあって、

  • Cloud deployment
  • Edge/IoT deployment
  • New hardware backends

に興味があるか？って、これ、TVM でいろいろ取り組んでいることですよね。それをビジネスとしてやろうとしているんですね。CEOはこの方(ワシントン大学の教授)のようです。

 ディープラーニングフレームワークの第二フェーズの中心でもある TVM もビジネス側に軸を移してきましたね。さて、どうなることやら。。。ちょっと楽しみです。

 

書籍「Think clearly」を読みました

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

Think clearly　

　最新の学術研究から導いた、よりよい人生を送るための思考法

を読みました。

Design Solution Forum 2019 にて、

「40年間エンジニアをやるために、真剣に考える7つのこと」についてお話した後の週末に Amazon Kindle で見本、本屋で紙の本をチラ見して、結果、Kindle版を1604円で買いました。紙の本だと、1980円。。20％ぐらい安いんですよ。

vengineer.hatenablog.com

Kindle版の場合、所有権ではなく、読む権利なので、いつ無くなるがわかりませんが、スマホやタブレットに入れて読めるので便利。そして、本の置き場所が要らないのも気に入っています。

この本、2017年に発行されたドイツ語の翻訳本。日本では2019年4月に発行。

52章で431ページ。あたしの講演の7つより遥かに多いですね。

この52章の中で特に気に入ったのは、以下の7つですかね。

  • 幸せを台無しにするような要因を取り除こう──問題を避けて手に入れる豊かさ
  • 自分の感情に従うのはやめよう──自分の気持ちから距離を置く方法
  • 思い出づくりよりも、いまを大切にしよう──人生はアルバムとは違うわけ
  • 解決よりも、予防をしよう──賢明さとは「予防措置」をほどこすこと
  • 読書の仕方を変えてみよう──読書効果を最大限に引き出す方法
  • 自分の人生に集中しよう──誰かを「偉人」に仕立てあげるべきではない理由
  • 内なる成功を目指そう──物質的な成功より内面の充実のほうが大事なわけ

過去と他人は変えられない。ことを心掛けているので、その中でより良いものができるようにしたいと思っています。

この中で今までのやり方を変えて実行したいのが、

  • 読書の仕方を変えてみよう──読書効果を最大限に引き出す方法

です。読書だけでなく、映画鑑賞も同じようにしようかな？と

本をじっくり読んでも1回だけじゃなかなか読んだことを覚えていないし、ましてや映像である映画なんか1回だけじゃ覚えていない。今年の映画鑑賞で190本も観ているが印象に残っている映画とか、お勧めしたい映画を聞かれても、直ぐに思い出せないんですよ。たぶん、見ることが目的になっている感じなんです。

ということで、

  • 同じ本を読み返しする
  • 映画もじっくり観る

ことを実践しようと思っています。。

高校生の時、お金が無いのと映画が好きだったので、一日に名画座(2本立て映画)の2回、合計4本を観ていたんですよね。。。そうすると、1回目はストーリーを追って観て、2回目は細かいところを観るということをやっていたので、そのころを思い出して観てみたいと思います。無理はしないですが。。。

とりあえず、金曜日と土曜日に、アベンジャーズ エンドゲーム と アリータ：バトル・エンジェル を堪能しました。アベンジャーズエンドゲームは3時間ぐらいあって結構ながかったが、面白しろかったです。

 

XiaoMiのディープ・ラーニングフレームワーク mace

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

XiaoMi の mace というものを下記の発表資料(16頁)から知りました。

speakerdeck.com

github で公開されています。

Mobile AI Compute Engine (or MACE for short) is a deep learning inference framework optimized for mobile heterogeneous computing on Android, iOS, Linux and Windows devices.

とあるので、クライアント側の推論用エンジン

github.com

特徴の部分を引用します。

性能
・NEON, OpenCL, Hexagon用に最適化

・Winograd algorithm
サポートプラットフォーム
・Qualcomm

・MediaTek

・Pinecone

・other ARM based chips

・CPU runtime supports Android, iOS and Linux.
サポートフレームワーク

・TensorFlow

・Caffe

・ONNX 

Pineconeって何？って、Google君に聞いたら、XiaoMeのSoCなのね。

Surge S1って、2017年だからかなり古い。。。28nmでA53

ずーと、XiaomiはどこかのSoCを使っているのかと思っていましたよ。

www.fudzilla.com

下記の記事によると、Surge S2では、

c.mi.com

Rochchip RK1808 AI Compute Stick

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

www.hackster.io

USBに接続する AIアクセラレータとしては、

が既に出ていますが、今回は取り上げるのは、RockchipのRK1808

Seed Studioで、86ドルで売っています。だいたい同じぐらいのお値段ですね。

まー、価格違ったら、売れませんね。

www.seeedstudio.com

この記事にあるように、RK1808 AI Compute Stick は、RK3399Pro の中にある NPU と同じものを USB から使えるようにしたもの。CPUコアも入っていて、Arm Cortex-35が2個入っています。この記事では、RK1808単体のボリューム価格は 6～12ドルとありますね。結構安いですね。

RK1808 AI Compute Stick は、1GBメモリ & 8GB eMMC 搭載です。内部ではLinuxが動いているようです。これが マニュアル(PDF) です。ドキュメントは、こっち にもありますね。

 

Armv8でBfloat16をサポート

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

ArmがArmv8でBFloat16をサポートすると発表

community.arm.com

何故か？ プレスリリースではなく、Machine Learning IP blog にて

Armv8.6になるみたい。下記の4つの命令が BFloat16 関連なのかな？

BFDOT

    a [1×2] × [2×1] dot product of BF16 elements, accumulating into each IEEE-FP32 element within a SIMD result.
BFMMLA

    effectively comprising two BFDOT operations which performs a [2×4] × [4×2] matrix multiplication of BF16 elements, accumulating into each [2x2] matrix of IEEE-FP32 elements within a SIMD result.
BFMLAL

    a simple product of the even or odd BF16 elements, accumulating into each IEEE-FP32 element within a SIMD result.
BFCVT

    converts IEEE-FP32 elements or scalar values to BF16 format.

 これ によると、Armv8.3までの実装はあるが、8.4, 8.5 の実装がない。

しかしながら、BFloat16 は ディープラーニング の領域では有用なので実装してくるんでしょうね。となると、8.4, 8.5 の内容も併せて実装されるの？

 

そんでもって、

Following that announcement, support for the new BF16 instructions will be available in tools, models, and libraries such as the Arm Compute Library and Arm NN.

とあるのでユーザーは ライブラリから使えばいいのね。

 関連記事

www.tomshardware.com

Intelが SYCL Compiler をリリース

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

www.phoronix.com

oneAPIの準備ですね。

よく見ると、かなり前からリリースされていますね。

15 May：Experimental Intel® CPU Runtime for OpenCL™ Applications with SYCL support

動作環境は、Linux と Windows

Linux
Experimental Intel(R) CPU Runtime for OpenCL(TM) Applications with SYCL
support version 2019.8.8.0.0822_rel is recommended OpenCL CPU RT prerequisite for the SYCL compiler
The Intel(R) Graphics Compute Runtime for OpenCL(TM) version 19.34.13890is recommended OpenCL GPU RT prerequisite for the SYCL compiler.


Windows
Experimental Intel(R) CPU Runtime for OpenCL(TM) Applications with SYCL
support version 2019.9.9.0.0901 is recommended OpenCL CPU RT prerequisite for the SYCL compiler
The Intel(R) Graphics Compute Runtime for OpenCL(TM) version 100.7158 is recommended OpenCL GPU RT prerequisite for the SYCL compiler.

とりあえず、CPUと Intel GPU で利用できるんですね。

 

インストールは、これ を見ればいいみたい。

 

このブログでの、SYCL に関する記事は、こちら

 

Xilinx Vitis とは？

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

Xilinxが発表した Vitis 。

プレゼンテーション資料：

Introducing the Vitis Unified Software Platform (PDF)

7頁目にある

Vivado => OS and Firmware SDK => SDSoC(Embedded) => SDAccel, Data Center

=> AI Inference Acceleration 

というふうに開発環境をリリースしてきて、これをすべて統合したのが Vitis と。

いろいろ調べたら、結果的には下記のドキュメントを読めばいいということが分かりました。

15頁にある Xilinx runtime library (XRT)、Vitis accelerated libraries と Tutorial は github にて公開されています。

github.com

github.com

github.com

FFmpeg対応の Vitis Video はまだ公開されていませんね。

18頁には、AI関連が

  • AI Optimizer
  • AI Quantizer
  • AI Compiler
  • AI Profiler

Xilinx は、FPGAベンダーではなく、ソフトウェアを含めた開発環境を提供したソリューションベンダーになろうとしているんですね。