經典網路研究與轉移特徵學習

林嶔 (Lin, Chin)

Lesson 8

深度學習網路發展史-醞釀時期(1)

– 首先第一個關鍵時刻當屬1986年由David Rumelhart、Geoffrey Hinton、Ronald Williams在1986年的研究,神經網路的實現相當於是在這個研究後才有實現的可能性。

F8_1

– Geoffrey Hinton透過這篇研究以及後續的努力被人們尊稱為「神經網路之父」、「深度學習之父」等!

深度學習網路發展史-醞釀時期(2)

– 另外在這個年代的神經網路由於結構較為簡單,因此並沒有辦法做出任意形式的輸入/輸出映射,所以與一般統計方法差異有限。而大約在1990年代開始,統計學家在電腦的輔助下發展出了許多準確性遠遠超越多層感知機(Multilayer Perceptron,MLP),這個時代的重大突破如下:

  1. 支持向量機(Support Vector Machine,SVM) - 這可以說是當代在數理統計上最創新的大作,分類效果也極佳

F8_2

  1. 隨機森林(Random Forest,RF)

  2. 梯度提升機(Gradient Bboosting Machine)

深度學習網路發展史-醞釀時期(3)

– 我們在前面的課程中已經講到了,Yann Lecun在1989年所發展的卷積神經網路(Convolutional Neural Network,CNN)做到了這一點,而Yann Lecun也通過這一個重要的成就被人稱為「卷積神經網路之父」!

F8_3