Vengineerの妄想(準備期間)

人生は短いけど、長いです。人生を楽しみましょう！

TuringがLLM専用アクセラレータHummingbirdを作る理由を聴いて

はじめに

下記の投稿にあるように、TURINGがLLM専用アクセラレータ(Hummingbird)について説明する会に参加しました。

下記のXのスペースに録音として残っています。

今回は、TURINGのHummingbirdについて、書いてみたいと思います。

TURING Hummingbird

  • LLM推論のみ
  • INT4ベース
  • あれもこれも作ろうとしない

というのがスペースが行われる前の情報で、

  1. Hummingbirdの命名について
  2. なぜ半導体を作るのか？
  3. なぜエヌビディアに勝てるのか？
  4. AIチップスタートアップはたくさんがあるがなぜ勝てる？
  5. 車載向けLLMという特殊な環境

について、スペースにて語られています。。。

スペースの中であたしが気になったのは、

  • 開発費に100億円かかると、10,000万台作って、10,000円の費用が載るよね
  • スマホで10.000円載るのは辛いよね
  • 自社開発なら数十万でもOKじゃん

ということ。これ、大切です。。。開発費はどこかで回収しないといけないので、数十万でOKなら、最初は1,000台でもOKという感じ。

スケジュール

  • 現在はシミュレータにて機能検証
  • 2024年の終わりには、FPGA検証。ただし、性能は 1/100 - 1/1000
  • 2025年 : Test chip (シャトルを利用前提)
  • 2026年から 実製品 (SoC, アクセラレータ, Chipletの選択があるが、SoCは考えていない)
  • 2028年 : 動いている
  • 2030年 : 量産

チップ開発において、ハックエンドは車載に実績にあるところに任せる

他の車載半導体開発を見てみる

汎用品(色々な顧客がいるという意味)を開発販売している下記の3社の売上を見てみます。

Mobileye

Mobileye (Intelが買収して、昨年再IPOしている)の売上は、下記のような感じ。直近では四半世紀で $500M の売上です。

NVIDIA の automobile

NVIDIA の automobile (データセンター用GPUで独占しているNVIDIAですが、automobile の売上は直近の四半世紀で $200M台。全体の売上は、$18.120Mなので、2%未満です。

ルネサス

ルネサス (四半世紀で、2000億円未満。結構な金額。ただし、車載全体)

上記の図は、Renesas moves to chiplets for automotive processors から説明のために引用します。

追記)、2024.01.04 - SDV時代を見据えたプラットフォームへの進化を目指すルネサスの第5世代R-Car

省エネAI半導体及びシステムに関する技術開発事業 の

  • 予測 AI（トランスフォーマ）に対応する省電力動的再構成プロセッサ・システムの開発

が AIアクセラレータに相当するんでしょうね。

おわりに

どうやら、アクセラレータをして実装するようですが、メインとなるSoCはどこかから調達することになりますよね。そこって、ルネサスになるんですかね。

どうなんでしょうか？

追記)、2024.01.04

半導体開発費を50億円として、10万台を想定して、50,000円と

これはあくまでも半導体開発のためのNREだけ。これにWaferのコストやパッケージまでの部品コストや製造コスト諸々が乗るよね。

そして、上記のWafer価格はあくまでも量産価格。10万個だと、Wafer1000枚ぐらいなので、量産価格にはならないよね。