@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった
2021年ですね。といっても、これを書いているのは2020年の大みそか(12月31日)です。
昨日(12月31日)のブログの最後に、
来年、2021年は、何をやろうかな？
と書きました。12月31日のブログを書いたのは12月中旬だったので、それからどうしようかな？といろいろと考えていました。
アマゾンプライムで映画見放題だったんですが、見放題の中で観たい映画が無くなってしまったのです。
じゃー、何を観ようかな？と思っていたんですが、Youtubeに上がっている講演ビデオをシリーズで観るのはどうだろうか？と
クリスマス後の週末に、MITのVivienne Szeさんの講演ビデオを何本か観ました。
一本だけだとよくわからなかったのですが、数本見ると、何を言いたいのか？何を伝えたいのかが、何となくわかってきました。
なんで、Vivienne Szeさんの講演ビデオにしたのかというと、このブログでも紹介した「書籍：Efficient Processing of Deep Neural Networks」の著者だったからです。
vengineer.hatenablog.com
2017年にTensorFlow XLAにて、ディープラーニングに興味を持ち始めて、ディープラーニングのフレームワークについていろいろと調べてきましたが、
2019年の時点で、学習側のフレームワークは、
- TensorFlow
- PyTorch
の2大フレームワークに決まってしまった。
一方、推論側のフレームワークは実行するハードウェアに強く依存するため、TensorFlow Lite、TVM、PyTorch Mobile、それから、各ハードウェア用。。。
ハードウェアの数だけフレームワークが存在する感じになっています。
なんでそうなるかというと、ハードウェアの性能を引き出すにはやっぱりそれなりの仕組みが必要で、汎用的なフレームワークではすべてのハードウェアをカバーしきれないから。
そういうことで、もともとハードウェアをお仕事にしていたので、ハードウェア側に戻ろうかなということで、「書籍：Efficient Processing of Deep Neural Networks」に関するものとして、
Vivienne Szeさんの講演ビデオを観ることにしたんです。
何本か観たことで、独自ハードウェアを半導体に作り込めるだけの資金と人材が居るのであれば、この「書籍：Efficient Processing of Deep Neural Networks」とこれに関する講演ビデオは非常に役に立つというか、絶対に読んだり観たりする必要があるものだと思いました。
しかしながら、おしごととしては独自ハードウェアを半導体に作り込むための資金は無いし、ひとりでできることには限界があるので。
次の観たのは、同じくMITの Song Han さんの講演ビデオ。
Son Han さんの講演ビデオは 博士課程(Stanford大)の時のはいろいろと観ていたのですが、MITに移ってからは全く観ていなかった。
Stanfordの時は推論用ハードウェアのための枝刈りとか重みの圧縮などだったが、MITに移ってからはもうちょっと範囲が大きくなってきて、NAS関連にまで広がっていました。
その時の講演ビデオがこれ
MITのSong Han さんの講演ビデオ
— Vengineer＠ (@Vengineer) 2020年12月30日
博士課程の時の講演に比べて、きちんと説明したい感じが伝わってくる。
HAN Labは、Han さんの名前からではないということをこのビデオで知りました。https://t.co/YwtM9tPdTL
この講演ビデオに出てきた、HAN Lab の github から、ProxylessNAS、Once for All、MCUNet (TinyNAS + TinyEngine) と今までとはちょっと違う領域まで出てきていました。
ディープラーニングのフレームワークの次は、NASだと思っていたんですが、学習はCloud側のリッチな環境じゃないとダメなので、おしごと的には無理と思っていましたが、
Song Han さんの上記の講演ビデオを観て、もしかしたら、ここいら辺、おしごと的にいいんじゃない？ということで、いろいろと調べています。
ということで、2021年にやることは、
- 誰か(ある人)の講演ビデオをシリーズで何本も観る
ということにしました。
これを何回かやってみれば、何かが見えるかもしれません。そうしたら、TensorFlow XLAの時のように、盛り上がれるかもしれません。
という期待もあるんですよ。
では、今年(2021年)、どうなるかはわかりませんが、これをやっていこうと思います。
なので、昨年までのように毎日ブログを更新することはないと思います。
講演ビデオと関連の論文やgithubのソースコードを眺めるので、たぶん、1週間に1本、もしかしたら、2週間に1本になるかもしれません。
