Vengineerの戯言

人生は短いけど、長いです。人生を楽しみましょう！

2020年を振り返る

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった 

今年は皆さんもそうだと思いますが、普通の1年じゃなかったです。
お外での飲み会は、0。お泊りで出かけたのは年末年始と2月の半ばに川越までママチャリで遊びに行ったのとで2回です。
お仕事で2月下旬から在宅勤務になり、その後は1日だけ(健康診断)電車に乗っただけです。
お外に出なかったので、1年間で体重は2kgぐらい増でしたが、ウエストが5㎝増になっていました(といっても、70㎝台になっただけです)
これではまずいと思い、11月からは週末ママチャリで20kｍ以上走るようにしました。最大50kmぐらいは走りました。
11月で近場のママチャリコースは使い果たしたので、12月になってからは少し坂があるような場所に行くようになり、坂でもそんなに辛くはなくなりました。

お外に出なかったので、髪の毛が伸びてきちゃって、お家でバリカンを導入、その後も継続して、10日ぐらいでバリカンしています。
それなりにできるようになりました。最近は、家人から三角と呼ばれています(髪型の一部が三角に見えるようなので)。12月中旬から寒くなって、バリカン中止中です。

あまりにもつまらないので、とりあえず、いろいろなビールを飲もうということにして、1年間で100種類以上の国産ビールを飲みました。
ビールの写真はTwitterにアップしているものをまとめたのが下図(こちらでは98種類)のようになりました。昨年もTwitterにアップしましたが、半分ぐらいはお外で飲んだビールでしたが、
今年はお外での飲み会は0だったので、全部缶か瓶のビールです。


それから、映画鑑賞も、昨年末に禁断のアマゾンプライムに入ったので見放題になり、年間500本(514本)を超えました。
GEOの半額特典が2021年3月末まであったのに、この状況だったので 16本しか借りませんでした。残りの498本はアマゾンでしたー。
いっぱい観たので観るものがなくなり、11月ぐらいからは観る映画を探す時間が多くなってきました。そろそろ、違う作戦を考えないといけない気がしています。。

さて、本題に入ります。
このブログを書き始めたのは、2007年3月ですが、それから書いたブログの数が9月21日には5000を超えました。
vengineer.hatenablog.com

5000も書くと何を書いたのすら忘れてしまうのですが、Google君に聞けば過去の自分のブログを紹介してくれますので安心です。

今年1年は、お仕事を多めにやってきたので、それなりに満足した1年でした。
お仕事の内容そのものはこのブログやTwitterには書かないので何をやっているかまではお知らせすることはできません。
なお、お仕事に関しては、来年以降も同じスタンスになります。

2017年のTensorFlow XLAから始まったディープラーニングに関するものは、今年2020年も続きましたが、そろそろ収束しそうです。
特に、クラウド側の学習用チップと推論用チップがいろいろと出てきましたが、一般ユーザーは使用するクラウド環境でCPU/GPUからのスムーズな移行ができない限り流行らないと思っています。なので、自社でクラウド環境を持っていない組織がチップ、ボード、SDKを開発し、TensorFlow/PyTorch/ONNXベースで利用できるようになっても、それほど多くは使われないと思っています。最終的には、Intelに買収された nGraph や Habana のようにIntelやAMD、または、どこかのクラウドベンダーに買収されるか、という感じになると思います。

また、クラウド側の学習用チップに関しては、チップ内のコアはコアの機能が少なく、より多くのコアがチップ内に搭載されていくのが主流になる予感があります。
例えば、Cerebras、Graphcore、Samba Nova、Tenstorrentなどです。これらのチップでは、各コアはそれぞれ違う働きをするように動作し、モデルの各処理を各コア(物理的な)にマッピングし、コア間の配線(データの流れ道)をすることになります。この配置・配線の技術は、FPGAの配置・配線の技術なので、FPGA業界の人がAIチップベンダーに移動しているっぽいです。

ディープラーニング用アクセラレータの王者、NVIDIAは GTC2020 Chinaの講演にて、NVLINKの転送レートを上げるべき、GPU間の転送に光モジュールを使うというものを発表しました。このレベルになると、IBM、Intel、NTTぐらいしかできなかったのが、お金持ちおよび人がいっぱいいるNVIDIAも。。。
そして、NVIDIA Research が発表していた RC-18 の マルチチップ構成のもの。Mathlib と MAGNet を使うことで、100TOPS/W を達成しているようです。こちらは 推論用チップですが、RC-18の時は、16nm で、1 die には 16PEだったけど、7nm なら 4倍の 64PEが実現可能で 36 diesなら2304 PEになり、GraphcoreのMK2 GC200 (7mn) の 1472 IPU-Tiles より2倍多い。今までは推論もGPGPUベース、T4とか、だったけど、推論は RC-18 ベースになる可能性が高そう。。。でも、学習用はあくまでも、GPGPUベース。。。だね。

ハードウェア(チップ)がどんなに凄い性能を持っていても、モデルをうまくハードウェアにマッピングできないと性能は出ません。なので、ハードウェアだけでなく、ソフトウェアの性能も非常に重要です。この点に関しては、IntelはCompilerを独自に開発してきましたし、NVIDIAもCompilerやLibraryを独自に開発しています。そう、エコシステムが大切です。
エコシステムが構築できないようなチップは長く使われることはないと思っています。

ということで、新しいチップが出てきてもソフトウェアを含めたエコシステムが NVIDIAのGPUを超える。具体的には、NVIDIA DGX A100を超えるようにならないと長期的には辛いと思っています。

最後に、11月10日に発表になった Apple M1搭載の MacBook Pro の性能がめっちゃいいみたいです。
Apple M1 について、いろいろと調べた結果、Linuxというエコシステムに依存している x86-64、POWER、ARM、RISC-Vのシステムでは単体性能では絶対に勝てないと思いました。


の内容を見ると、今後、Appleは、Apple M1をベースにした、単体ベースのApple Cloud をリリースする感じがします。
Apple M1ベースとしてサーバーが IntelのXeon、IBMのPOWER、ARM Server と同じような感じのものが出てくるのはもう少し時間がかかりますが、
市場を拡大するといういみでは十分あり得ると思っています。

ということで、簡単ではありますが、2020年を振り返りました。

来年、2021年は、何をやろうかな？