はじめに

昨日のブログでは、TenstorrentのGrayslullの内部構成を探ってみましたが、今日は Wohm Hole の内部構成を探っていきます。

Wohm Hole の内部構成

Wohm Holeの内部構成は、このファイルからわかります。下記のような内容になっています。

# Note taken from software repo - may need updates.
grid:
  x_size: 10
  y_size: 12

arc:
  [ 0-10 ]

pcie:
  [ 0-3 ]

dram:
  [
      [0-0, 0-1, 0-11],
      [0-5, 0-6, 0-7],
      [5-0, 5-1, 5-11],
      [5-2, 5-9, 5-10],
      [5-3, 5-4, 5-8],
      [5-5, 5-6, 5-7],
  ]

eth:
  [
      9-0, 1-0, 8-0, 2-0, 7-0, 3-0, 6-0, 4-0,
      9-6, 1-6, 8-6, 2-6, 7-6, 3-6, 6-6, 4-6,
  ]

functional_workers:
  [
   1-1,   2-1,   3-1,   4-1,   6-1,   7-1,   8-1,   9-1, 
   1-2,   2-2,   3-2,   4-2,   6-2,   7-2,   8-2,   9-2, 
   1-3,   2-3,   3-3,   4-3,   6-3,   7-3,   8-3,   9-3, 
   1-4,   2-4,   3-4,   4-4,   6-4,   7-4,   8-4,   9-4, 
   1-5,   2-5,   3-5,   4-5,   6-5,   7-5,   8-5,   9-5, 
   1-7,   2-7,   3-7,   4-7,   6-7,   7-7,   8-7,   9-7, 
   1-8,   2-8,   3-8,   4-8,   6-8,   7-8,   8-8,   9-8, 
   1-9,   2-9,   3-9,   4-9,   6-9,   7-9,   8-9,   9-9, 
   1-10,  2-10,  3-10,  4-10,  6-10,  7-10,  8-10,  9-10, 
   1-11,  2-11,  3-11,  4-11,  6-11,  7-11,  8-11,  9-11, 
  ]
  
harvested_workers:
  []

router_only:
  [
   0-2, 0-4, 0-8, 0-9
  ]

worker_l1_size:
  1499136

dram_bank_size:
  2147483648

eth_l1_size:
  262144

arch_name: WORMHOLE_B0

features:
  unpacker:
    version: 2
    inline_srca_trans_without_srca_trans_instr: True
  math:
    dst_size_alignment: 32768
  packer:
    version: 2
  overlay:
    version: 2

DRAM I/Fは、3つのTile をひと塊にしているようです。全部で6個です。

dram:
  [
      [0-0, 0-1, 0-11],
      [0-5, 0-6, 0-7],
      [5-0, 5-1, 5-11],
      [5-2, 5-9, 5-10],
      [5-3, 5-4, 5-8],
      [5-5, 5-6, 5-7],
  ]

Grayskull との違いは、ethcがあることです。真ん中にあります。

eth:
  [
      9-0, 1-0, 8-0, 2-0, 7-0, 3-0, 6-0, 4-0,
      9-6, 1-6, 8-6, 2-6, 7-6, 3-6, 6-6, 4-6,
  ]

Compute Tile は、X方向の5番目とがありません。この部分は、DRAM I/F があるようです。

functional_workers:
  [
   1-1,   2-1,   3-1,   4-1,   6-1,   7-1,   8-1,   9-1, 
   1-2,   2-2,   3-2,   4-2,   6-2,   7-2,   8-2,   9-2, 
   1-3,   2-3,   3-3,   4-3,   6-3,   7-3,   8-3,   9-3, 
   1-4,   2-4,   3-4,   4-4,   6-4,   7-4,   8-4,   9-4, 
   1-5,   2-5,   3-5,   4-5,   6-5,   7-5,   8-5,   9-5, 
   1-7,   2-7,   3-7,   4-7,   6-7,   7-7,   8-7,   9-7, 
   1-8,   2-8,   3-8,   4-8,   6-8,   7-8,   8-8,   9-8, 
   1-9,   2-9,   3-9,   4-9,   6-9,   7-9,   8-9,   9-9, 
   1-10,  2-10,  3-10,  4-10,  6-10,  7-10,  8-10,  9-10, 
   1-11,  2-11,  3-11,  4-11,  6-11,  7-11,  8-11,  9-11, 
  ]

Wohm Hole の die shot

www.semianalysis.com

に Wohm Hole の die shot があります。Tenstorrent の講演ビデオ(Youtube)にあるものです。

DRAMおよびEthernerは、die の周りにあります。。。

左側が下記のように、DRAM I/Fが2個、PCIe I/F、CPUがあります。

arc:
  [ 0-10 ]

pcie:
  [ 0-3 ]

dram:
  [
      [0-0, 0-1, 0-11],
      [0-5, 0-6, 0-7],
      [5-0, 5-1, 5-11],
      [5-2, 5-9, 5-10],
      [5-3, 5-4, 5-8],
      [5-5, 5-6, 5-7],
  ]

上下にEthernetがあります。

eth:
  [
      9-0, 1-0, 8-0, 2-0, 7-0, 3-0, 6-0, 4-0,
      9-6, 1-6, 8-6, 2-6, 7-6, 3-6, 6-6, 4-6,
  ]

おわりに

Tenstorrent の Wohm Hole の構成が分かりました。Grayskull と似ていますが、DRAM I/F の部分が違います。Grayskull の RAM は、LPDDR4、Wohm Hole の RAM は、GDDR6 です。また、Wohm Holeには、16個のEthernetがあります。4個を上下左右に接続するようになっているようです。