Vengineerの妄想(準備期間)

人生は短いけど、長いです。人生を楽しみましょう!

中原先生の発表資料、再び


ここ数ヶ月、ディープラーニングの推論側についていろいろ調べている。
学習側は既に個人ができる範囲をとっくに越えてしまったので。

2月27日のTensorFlow User Group ハード部 #1での
中原先生の資料を再度確認してみると、いろいろ分かってきた。

 ・データの水増し(Augmentation)、31頁
 ・Inception演算、フル結合なし、32〜33頁
 ・VGG、3x3フィルター、34〜35頁
 ・Batch Normalization、37〜38頁

 ・CNNの最適化手法、41頁

41頁はさっらっと流されましたが、ここをいろいろと調べ始めました。

 ・Pruning (剪定)
 ・Weight Sharing
 ・Quantization (量子化)
 ・Binarized / Ternarized (二値化、多値化)
 ・ほかにもたくさんあるけど講演時間の都合で...
  ・Winogradアルゴリズム
  ・Dark Knowledge
  ・Law Rank Approximation
  ・蒸留、ファインチューニング

また出てきたよ、Winograd