深度學習網路發展史(1)

• 上週的課程已帶大家實作最基本的卷積神經網路-LeNet，這週開始我們要帶著大家了解卷積神經網路後續在圖像辨識上的爆炸性發展。

• ImageNet是2007年由史丹福大學教授李飛飛創辦，其收集大量帶有標註信息的圖片數據供電腦視覺模型訓練，而每年將會利用其資料進行ILSVRC圖像識別競賽。

• 在2012年以前，這項比賽大多是由SVM、隨機森林等方法獲得冠軍，但自2012年以來，下列四個卷積神經網路架構席捲了ILSVRC。

– AlexNet -> VGGNet -> GoogLeNet -> ResNet

深度學習網路發展史(2)

• AlexNet是由Alex Krizhevsky提出的深度卷積神經網絡模型，他基本上是LeNet的一種更深更寬的版本，他的網路架構如下：

• 在此以前，深度神經網路的訓練會發生過度擬合、運算時間長等問題，這些問題導致我們根本沒辦法訓練過深的神經網路，而Alex發展了以下幾種方式成功解決這些問題：

1. 使用ReLU做為非線性變換的激活函數

2. 使用Dropout技術

3. 使用overlap的max pooling

4. 數據增強

5. 使用GPU加速深度卷積網絡的訓練

深度學習網路發展史(3)

• VGGNet是牛津大學計算機視覺組(Visual Geometry Group)和Google DeepMind一起研發的網路。

– VGGNet論文中全部使用了3x3的卷積核和2x2的池化核，通過不斷加深網絡結構來提升性能。

• 他的核心概念是透過2個3x3的卷積核取代5x5的卷積核，從而減少參數並探討其效益。

• 這篇研究透過比較了上述6個神經網路，告訴了我們幾個鐵則：

1. 越深的網絡效果越好

2. 1x1的卷積核也顯著提升效能

深度學習網路發展史(4)

• GoogLeNet(Inception Net)是2014年ILSVRC的冠軍(VGGNet是亞軍)，他獲勝的原因是因為發現神經網路的全連接層消耗了大量的參數，而統計學的基本原理告訴我們參數估計需要大量樣本支撐，因此GoogLeNet最核心的想法就是盡量減少所需要估計的參數。

– 除此之外，他引入了Network In Network的概念，在卷積層內使用大量的1x1的卷積核。

深度學習網路發展史(5)

• GoogleNet在隨後發展了兩個變形版本，借鑒了VGGNet的成功之處，他首先利用了兩個過2個3x3的卷積核取代5x5的卷積核，發展出Inception v2，隨後他又將一個3x3卷積拆成1x3卷積和3x1卷積發展出Inception v3：

深度學習網路發展史(6)

• ResNet是在VGGNet及GoogLeNet後最重要的突破，它的核心概念是發現了不斷加神經網絡的深度時，會出現Degradation的問題。

– 假設有一個比較淺的網絡達到了飽和的準確率，那麼後面再加上幾個的全等映射層，起碼誤差不會增加，因此設計出了Residual unit：

• 在使用了ResNet的結構後，可以發現層數不斷加深導致的訓練集上誤差增大的現象被消除了：

利用Pre-training的model進行Feature extraCtion(1)

• 經典的ResNet-18模型在ImageNet上訓練的結果，我們都可以在這裡找到並下載

– 們可以下載該模型進行預測

library(mxnet)
library(imager)
library(magrittr)

#Load a pre-training residual network model

res_model = mx.model.load("model/resnet-18", 0)
res_sym = mx.symbol.load("model/resnet-18-symbol.json")

#Define image processing functions

preproc.image <- function(im, mean.image = NULL) {
  # crop the image
  shape <- dim(im)
  if (shape[1] != shape[2]) {
    short.edge <- min(shape[1:2])
    xx <- floor((shape[1] - short.edge) / 2)
    yy <- floor((shape[2] - short.edge) / 2)
    cropped <- crop.borders(im, xx, yy)
  } else {
    cropped <- array(im, dim = c(shape, 1, 1))
    cropped <- cropped/max(cropped)
  }
  # resize to 224 x 224, needed by input of the model.
  resized <- resize(cropped, 224, 224)
  # convert to array (x, y, channel)
  arr <- as.array(resized) * 255
  dim(arr) <- dim(arr)[-3]
  # subtract the mean
  if (is.null(mean.image)) {mean.image = mean(arr)}
  normed <- arr - mean.image
  # Reshape to format needed by mxnet (width, height, channel, num)
  dim(normed) <- c(dim(normed), 1)
  return(normed)
}

#Read image and display

img <- load.image(system.file("extdata/parrots.png", package="imager"))
par(mar=rep(0,4))
plot(NA, xlim = 0:1, ylim = 0:1, xaxt = "n", yaxt = "n", bty = "n")
rasterImage(img, -0.04, -0.04, 1.04, 1.04, interpolate=FALSE)