什么是深度學(xué)習(xí)
掃描二維碼
隨時(shí)隨地手機(jī)看文章
深度學(xué)習(xí)是近10年機(jī)器學(xué)習(xí)領(lǐng)域發(fā)展最快的一個(gè)分支,由于其重要性,三位教授(Geoffrey Hinton、Yann Lecun、Yoshua Bengio)因此同獲圖靈獎(jiǎng)。深度學(xué)習(xí)模型的發(fā)展可以追溯到1958年的感知機(jī)(Perceptron)。1943年神經(jīng)網(wǎng)絡(luò)就已經(jīng)出現(xiàn)雛形(源自NeuroScience),1958年研究認(rèn)知的心理學(xué)家Frank發(fā)明了感知機(jī),當(dāng)時(shí)掀起一股熱潮。后來Marvin Minsky(人工智能大師)和Seymour Papert發(fā)現(xiàn)感知機(jī)的缺陷:不能處理異或回路等非線性問題,以及當(dāng)時(shí)存在計(jì)算能力不足以處理大型神經(jīng)網(wǎng)絡(luò)的問題。于是整個(gè)神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入停滯期。
最近30年來取得快速發(fā)展。總體來說,主要有4條發(fā)展脈絡(luò)。
第一個(gè)發(fā)展脈絡(luò)以計(jì)算機(jī)視覺和卷積網(wǎng)絡(luò)為主。
這個(gè)脈絡(luò)的進(jìn)展可以追溯到1979年,F(xiàn)ukushima提出的Neocognitron。該研究給出了卷積和池化的思想。1986年Hinton提出了反向傳播訓(xùn)練MLP(之前也有幾個(gè)類似的研究),該研究解決了感知機(jī)不能處理非線性學(xué)習(xí)的問題。1998年,以Yann LeCun為首的研究人員實(shí)現(xiàn)了一個(gè)七層的卷積神經(jīng)網(wǎng)絡(luò)LeNet-5以識(shí)別手寫數(shù)字?,F(xiàn)在普遍把Yann LeCun的這個(gè)研究作為卷積網(wǎng)絡(luò)的源頭,但其實(shí)在當(dāng)時(shí)由于SVM的迅速崛起,這些神經(jīng)網(wǎng)絡(luò)的方法還沒有引起廣泛關(guān)注。真正使得卷積神經(jīng)網(wǎng)絡(luò)榮耀登上大雅之堂的事件是,2012年Hinton組的AlexNet(一個(gè)設(shè)計(jì)精
巧的CNN)在ImageNet上以巨大優(yōu)勢奪冠,這引發(fā)了深度學(xué)習(xí)的熱潮。AlexNet在傳統(tǒng)CNN的基礎(chǔ)上加上了ReLU、Dropout等技巧,并且網(wǎng)絡(luò)規(guī)模更大。這些技巧后來被證明非常有用,成為卷積神經(jīng)網(wǎng)絡(luò)的標(biāo)配,被廣泛發(fā)展,于是后來出現(xiàn)了VGG、GoogLenet等新模型。2016年,青年計(jì)算機(jī)視覺科學(xué)家何愷明在層次之間加入跳躍連接,提出殘差網(wǎng)絡(luò)ResNet。ResNet極大增加了網(wǎng)絡(luò)深度,效果有很大提升。一個(gè)將這個(gè)思路繼續(xù)發(fā)展下去的是近年的CVPR Best Paper中黃高提出的DenseNet。在計(jì)算機(jī)視覺領(lǐng)域的特定任務(wù)出現(xiàn)了各種各樣的模型(Mask-RCNN等),這里不一一介紹。2017年,Hinton認(rèn)為反向傳播和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)還存在一定缺陷,因此提出Capsule Net,該模型增強(qiáng)了可解釋性,但目前在CIFAR等數(shù)據(jù)集上效果一般,這個(gè)思路還需要繼續(xù)驗(yàn)證和發(fā)展。
第二個(gè)發(fā)展脈絡(luò)以生成模型為主。
傳統(tǒng)的生成模型是要預(yù)測聯(lián)合概率分布P(x,y)。機(jī)器學(xué)習(xí)方法中生成模型一直占據(jù)著一個(gè)非常重要的地位,但基于神經(jīng)網(wǎng)絡(luò)的生成模型一直沒有引起廣泛關(guān)注。Hinton在2006年的時(shí)候基于受限玻爾茲曼機(jī)(RBM,一個(gè)19世紀(jì)80年代左右提出的基于無向圖模型的能量物理模型)設(shè)計(jì)了一個(gè)機(jī)器學(xué)習(xí)的生成模型,并且將其堆疊成為Deep BeliefNetwork,使用逐層貪婪或者wake-sleep的方法訓(xùn)練,當(dāng)時(shí)模型的效果其實(shí)并沒有那么好。但值得關(guān)注的是,正是基于RBM模型,Hinton等人開始設(shè)計(jì)深度框架,因此這也可以看做深度學(xué)習(xí)的一個(gè)開端。Auto-Encoder也是上個(gè)世紀(jì)80年代Hinton就提出的模型,后來隨著計(jì)算能力的進(jìn)步也重新登上舞臺(tái)。Bengio等人又提出了Denoise Auto-Encoder,主要針對數(shù)據(jù)中可能存在的噪音問題。Max Welling(也是變分和概率圖模型的高手)等人后來使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練一個(gè)有一層隱變量的圖模型,由于使用了變分推斷,并且最后長得跟Auto-Encoder有點(diǎn)像,被稱為Variational Auto-Encoder。此模型中可以通過隱變量的分布采樣,經(jīng)過后面的Decoder網(wǎng)絡(luò)直接生成樣本。生成對抗模型GAN(Generative Adversarial Network)是2014年提出的非?;鸬哪P?,它是一個(gè)通過判別器和生成器進(jìn)行對抗訓(xùn)練的生成模型,這個(gè)思路很有特色,模型直接使用神經(jīng)網(wǎng)絡(luò)G隱式建模樣本整體的概率分布,每次運(yùn)行相當(dāng)于從分布中采樣。后來引起大量跟隨的研究,包括:DCGAN是一個(gè)相當(dāng)好的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn),WGAN是通過維爾斯特拉斯距離替換原來的JS散度來度量分布之間的相似性的工作,使得訓(xùn)練穩(wěn)定。PGGAN逐層增大網(wǎng)絡(luò),生成逼真的人臉。
第三個(gè)發(fā)展脈絡(luò)是序列模型。
序列模型不是因?yàn)樯疃葘W(xué)習(xí)才有的,而是很早以前就有相關(guān)研究,例如有向圖模型中的隱馬爾科夫HMM以及無向圖模型中的條件隨機(jī)場模型CRF都是非常成功的序列模型。即使在神經(jīng)網(wǎng)絡(luò)模型中,1982年就提出了Hopfield Network,即在神經(jīng)網(wǎng)絡(luò)中加入了遞歸網(wǎng)絡(luò)的思想。1997年Jürgen Schmidhuber發(fā)明了長短期記憶模型LSTM(Long-Short Term Memory),這是一個(gè)里程碑式的工作。當(dāng)然,真正讓序列神經(jīng)網(wǎng)絡(luò)模型得到廣泛關(guān)注的還是2013年Hinton組使用RNN做語音識(shí)別的工作,比傳統(tǒng)方法高出一大截。在文本分析方面,另一個(gè)圖靈獎(jiǎng)獲得者Yoshua Bengio在SVM很火的時(shí)期提出了一種基于神經(jīng)網(wǎng)絡(luò)的語言模型(當(dāng)然當(dāng)時(shí)機(jī)器學(xué)習(xí)還是SVM和CRF的天下),后來Google提出的word2vec(2013)也有一些反向傳播的思想,最重要的是給出了一個(gè)非常高效的實(shí)現(xiàn),從而引發(fā)這方面研究的熱潮。后來,在機(jī)器翻譯等任務(wù)上逐漸出現(xiàn)了以RNN為基礎(chǔ)的seq2seq模型,通過一個(gè)Encoder把一句話的語義信息壓縮成向量再通過Decoder轉(zhuǎn)換輸出得到這句話的翻譯結(jié)果,后來該方法被擴(kuò)展到和注意力機(jī)制(Attention)相結(jié)合,也大大擴(kuò)展了模型的表示能力和實(shí)際效果。再后來,大家發(fā)現(xiàn)使用以字符為單位的CNN模型在很多語言任務(wù)也有不俗的表現(xiàn),而且時(shí)空消耗更少。Self-attention實(shí)際上就是采取一種結(jié)構(gòu)去同時(shí)考慮同一序列局部和全局的信息,Google有一篇很有名的文章“attention is all you need”把基于Attention的序列神經(jīng)模型推向高潮。當(dāng)然2019年ACL上同樣有另一篇文章給這一研究也稍微降了降溫。
第四個(gè)發(fā)展脈絡(luò)是增強(qiáng)學(xué)習(xí)。
這個(gè)領(lǐng)域最出名的當(dāng)屬Deep Mind,圖中標(biāo)出的David Silver博士是一直研究RL的高管。Q-learning是很有名的傳統(tǒng)RL算法,Deep Q-learning將原來的Q值表用神經(jīng)網(wǎng)絡(luò)代替,做了一個(gè)打磚塊的任務(wù)。后來又應(yīng)用在許多游戲場景中,并將其成果發(fā)表在Nature上。Double Dueling對這個(gè)思路進(jìn)行了一些擴(kuò)展,主要是Q-Learning的權(quán)重更新時(shí)序上。DeepMind的其他工作如DDPG、A3C也非常有名,它們是基于Policy Gradient和神經(jīng)網(wǎng)絡(luò)結(jié)合的變種。大家都熟知的AlphaGo,里面其實(shí)既用了RL的方法也有傳統(tǒng)的蒙特卡洛搜索技巧。Deep Mind后來提出了的一個(gè)用AlphaGo框架,但通過主學(xué)習(xí)來玩不同(棋類)游戲的新算法Alpha Zero。