過去を振り返る会 : 何故？日本でディープラーニング用ハードウェアを開発しないのか？

はじめに

毎週土曜日の過去を振り返る会。今回は、下記のXの投稿したものについてです。この投稿にあるURLは、2017年12年1日に書いたブログで、現在のことではありません。

何故？日本でディープラーニング用ハードウェアを開発しないのか？https://t.co/OFs9VaDsbt

ハードウェアを作っても、その上のソフトウェアである

　　・デバイスドライバ
　　・ファームウェア(ランタイム)
　　・ライブラリ
　　・コンパイラセット

　が無いと現実的には使えない。

— Vengineerの妄想 (@Vengineer) 2024年8月14日

まだこの頃は、日本でディープラーニング用ハードウェアを開発していない(開発していたかもしれませんが、公開されていなかった)状況だったと思います。

この投稿に書きましたが、

ハードウェアを開発しても、そのハードウェアを動かくソフトウェア、そのソフトウェアを利用するためのエコシステムができないと、誰も使ってくれません。

転職してみて

この頃を起点に、色々あって、現在の職場に転職しました。

転職した理由のひとつが、正に、これだったからです。

ハードウェアを開発しても、そのハードウェアを動かすソフトウェアを開発しないといけない。。。

前職では、組み込み関連でしたので

• デバイスドライバ
• ファームウェア(ランタイム)

ぐらいまでは、自社で開発していました。計算器を独自に開発していなかったので、

• ライブラリ
• コンパイラセット

を開発することが無かったです。

現在の職場に入ってから、公開され、とある性能でトップになりました。その後も、ソフトウェアの改善にて、どんどん性能が上がっていき、

ベースとなるソフトウェアができれば、今度はハードウェアを改善すればいいのです。そして、その改善したハードウェアを動かすソフトウェアも改善すればいいのです。

前職では、とあるプロダクトが大成功した後、そのプロダクトの改善が10数年続きました。2018年に転職してしまったので、その後は分かりませんが、たぶん、続いています。

Cloud側のAIアクセラレータ (2019 - 2024)

下記のXの投稿は、Cloud側のメジャーなAIアクセラレータ (2019 - 2024) をプロットしたものです。

ちょっと直したのと、2022.11のOpenAI/ChatGPTを入れてみた
2022年にはAIブームが終わると言われていて、その年の11月にChatGPTが公開され、AIブームから生成AIブームに置き換わった。

下記の図を見ると、Tenstorrent/Groq がその間、チップを作っていないように見える(たぶん、作っていた) https://t.co/cJhRoOf2N2 pic.twitter.com/JlfSpRHPtm

— Vengineerの妄想 (@Vengineer) 2024年8月12日

図が小さいので、大きなものを載せます。

Graphcore は先日、Softbank が買収したので、次の IPU MK3 (3nm) は無いと思います。それ以外のものは、

• 16nm => 7nm => 5nm => 3nm

のステップを踏んでチップを出しているところが多いです。

そう、これが改善です。

これがどれだけ長くできるのかがプロダクト開発としては非常に重要です。。。

しかしながら、半導体開発はもの凄くお金がかかるものになってしまったので、どこまで続けられるかはお金次第になっているのが現状です。

おわりに

現在の生成AIバブルの主役である NVIDIA の強みがChipだけでなく、CUDAベースのエコシステムが大量にあるからだと思っています。

転職して、正に、この中に居ますが、これから、どうなるのでしょうか？

あたしは既に定年になっているので、今後は、よくわかりませんが。。。

今週、最初のXの投稿が盛り上がったので、過去を振り返る会のネタとして取り上げました。。。