簡述卷積神經(jīng)網(wǎng)絡(luò)發(fā)展進程

卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，最早可以追溯到1962年，Hubel和Wiesel對貓大腦中的視覺系統(tǒng)的研究。1980年，一個日本科學家福島邦彥(Kunihiko Fukushima)提出了一個包含卷積層、池化層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。在這個基礎(chǔ)上，Yann Lecun將BP算法應用到這個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的訓練上，就形成了當代卷積神經(jīng)網(wǎng)絡(luò)的雛形。

其實最初的CNN效果并不算好，而且訓練也非常困難。雖然也在閱讀支票、識別數(shù)字之類的任務上有一定的效果，但由于在一般的實際任務中表現(xiàn)不如SVM、Boosting等算法好，因此一直處于學術(shù)界的邊緣地位。直到2012年，ImageNet圖像識別大賽中，Hinton組的AlexNet引入了全新的深層結(jié)構(gòu)和Dropout方法，一下子把error rate從25%降低到了15%，這顛覆了圖像識別領(lǐng)域。AlexNet有很多創(chuàng)新，盡管都不是很難的方法。其最主要的結(jié)果是

讓人們意識到原來那個福島邦彥提出的、Yann LeCun優(yōu)化的LeNet結(jié)構(gòu)原來是有很大改進空間的：只要通過一些方法能夠加深這個網(wǎng)絡(luò)到8層左右，讓網(wǎng)絡(luò)表達能力提升，就能得到出人意料的好結(jié)果。

順著AlexNet的思想，LeCun組2013年提出了一個DropConnect，把error rate降低到了11%。而NUS的顏水成組則提出了一個重要的Network in Network(NIN)方法，NIN的思想是在原來的CNN結(jié)構(gòu)中加入了一個1*1 conv層，NIN的應用也得到了2014年Imagine另一個挑戰(zhàn)——圖像檢測的冠軍。Network in Network更加引發(fā)了大家對CNN結(jié)構(gòu)改變的大膽創(chuàng)新。因此，兩個新的架構(gòu)Inception和VGG在2014年把網(wǎng)絡(luò)加深到了20層左右，圖像識別的error rate(越小越好)也大幅降低到6.7%，接近人類錯誤率的5.1%。2015年，MSRA的任少卿、何愷明、孫劍等人，嘗試把Identity加入到卷積神經(jīng)網(wǎng)絡(luò)中提出ResNet。最簡單的Identity卻出人意料的有效，直接使CNN能夠深化到152層、1202層等，error rate也降到了3.6%。后來，ResNeXt,Residual-Attention，DenseNet，SENet等也各有貢獻，各自引入了Group convolution，Attention，Dense connection，channelwise-attention等，最終ImageNet將error rate降到了2.2%，遠遠低于人類的錯誤率。現(xiàn)在，即使手機上的神經(jīng)網(wǎng)絡(luò)，也能達到超過人類的水平。而另一個挑戰(zhàn)——圖像檢測中，也是任少卿、何愷明、孫劍等優(yōu)化了原先的R-CNN,fast R-CNN等通過其他方法提出region proposal，然后用CNN去判斷是否是

object的方法，提出了faster R-CNN。Faster R-CNN的主要貢獻是使用和圖像識別相同的CNN feature，發(fā)現(xiàn)feature不僅可以識別圖片內(nèi)容，還可以用來識別圖片的位置。也就是說，CNN的feature非常有用，包含了大量的信息，可以同時用來做不同的任務。這個創(chuàng)新一下子把圖像檢測的MAP也翻倍了。在短短的4年中，ImageNet圖像檢測的MAP(越大越好)從最初的0.22達到了最終的0.73。何愷明后來還提出了Mask R-CNN，即給faster R-CNN又加了一個Mask Head，發(fā)現(xiàn)即使只在訓練中使用Mask Head，其信息可以傳遞回原先的CNN feature中，獲得了更精細的信息。由此，Mask R-CNN得到了更好的結(jié)果。何愷明在2009年時候就以一個簡單有效的去霧算法得到了CVPR Best Paper，在計算機視覺領(lǐng)域聲名鵲起。后來更是提出了ResNet和Faster R-CNN兩大創(chuàng)新，直接顛覆了整個計算機視覺/機器學習領(lǐng)域。

當然，CNN結(jié)構(gòu)變得越來越復雜，很多結(jié)構(gòu)都很難直覺的來解釋和設(shè)計。于是谷歌提出了自動架構(gòu)學習方法NasNet(Neural Architecture Search Network)來自動用Reinforcement Learning去搜索一個最優(yōu)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。Nas是目前CV界一個主流的方向，可以自動尋找出最好的結(jié)構(gòu)，以及給定參數(shù)數(shù)量/運算量下最好的結(jié)構(gòu)(這樣就可以應用于手機)，是目前圖像識別的一個重要發(fā)展方向。今年何愷明(2019年4月)又發(fā)表了一篇論文，表示即使Random生成的網(wǎng)絡(luò)連接結(jié)構(gòu)(只要按某些比較好的Random方法)，都會取得非常好的效果，甚至比標準的好很多。Random和Nas哪個是真的正確的道路，這有待進一步的研究了。

卷積神經(jīng)網(wǎng)絡(luò)CNN的發(fā)展引發(fā)了其他領(lǐng)域的很多變革。比如：利用CNN，AlphaGo戰(zhàn)勝了李世石，攻破了圍棋(基礎(chǔ)版本的AlphaGo其實和人類高手比起來是有勝有負的)。后來利用了ResNet和Faster-RCNN的思想，一年后的Master則完全戰(zhàn)勝了所有人類圍棋高手。后來又有很多復現(xiàn)的開源圍棋AI，每一個都能用不大的計算量超過所有的人類高手。以至于現(xiàn)在人們講棋的時候，都是按著AI的勝率來講了。