天線的質(zhì)量對無線通信網(wǎng)絡(luò)的質(zhì)量具有一票否決的關(guān)鍵作用?
不管是AI也好,其他學(xué)科也好,學(xué)習(xí)、研究的過程中不斷反思學(xué)科的歷史,總結(jié)學(xué)科的發(fā)展現(xiàn)狀,找出最重要的理念,總能讓人能“吾道一以貫之”。軟件工程師James Le近期根據(jù)他研究的經(jīng)驗(yàn)總結(jié)出了AI研究必須要知道的十種深度學(xué)習(xí)方法,非常具有啟發(fā)性。
The 10 Deep Learning Methods AI PracTITIoners Need to Apply
人們對機(jī)器學(xué)習(xí)的興趣在過去十年經(jīng)歷了爆炸式的發(fā)展。計(jì)算機(jī)科學(xué)項(xiàng)目中、業(yè)界會(huì)議中、媒體報(bào)道中,你都能夠看到機(jī)器學(xué)習(xí)的影子。但是似乎所有關(guān)于機(jī)器學(xué)習(xí)的討論中,人們常常會(huì)把AI能做什么和他們希望AI能做什么混為一談。
從根本上來講,機(jī)器學(xué)習(xí)其實(shí)就是使用算法從原始數(shù)據(jù)中提取信息,并以某種類型的模型表示出來;然后我們使用這個(gè)模型來推斷我們尚未建模的其他數(shù)據(jù)。
神經(jīng)網(wǎng)絡(luò)作為機(jī)器學(xué)習(xí)的一類模型,它們已經(jīng)存在了至少50年。神經(jīng)網(wǎng)絡(luò)的基本單元是節(jié)點(diǎn),大致上模仿了哺乳動(dòng)物大腦中的生物神經(jīng)元的節(jié)點(diǎn);節(jié)點(diǎn)之間的鏈接(也是模仿生物大腦)隨著時(shí)間的推移(訓(xùn)練)而演化。
在上世紀(jì)八十年代中期和九十年代早期,許多重要的神經(jīng)網(wǎng)絡(luò)構(gòu)架都已經(jīng)做出了,不過要想獲得好的結(jié)果還需要足夠強(qiáng)大的計(jì)算能力和大體量的數(shù)據(jù)集,這些當(dāng)時(shí)在當(dāng)時(shí)很不理想,所以也導(dǎo)致人們對機(jī)器學(xué)習(xí)的熱情逐漸冷淡了下來。在21世紀(jì)初,計(jì)算機(jī)的計(jì)算能力呈現(xiàn)了指數(shù)級的增長——業(yè)界見證了計(jì)算機(jī)技術(shù)的“寒武紀(jì)大爆發(fā)”,這在之前幾乎是不可想象的。深度學(xué)習(xí)作為這個(gè)領(lǐng)域中一個(gè)重要的架構(gòu),在計(jì)算能力爆發(fā)式增長的十年中,贏得了許多重要的機(jī)器學(xué)習(xí)競賽。這個(gè)紅利的熱度直到今年仍未降溫;今天,我們看到在機(jī)器學(xué)習(xí)的每個(gè)角落里都會(huì)提到深度學(xué)習(xí)。
最近,我也開始閱讀一些深度學(xué)習(xí)方面的學(xué)術(shù)論文。下面這些是我收集到的幾篇對深度學(xué)習(xí)領(lǐng)域的發(fā)展有重大影響的幾篇論文:
1、Gradient-Based Learning Applied to Document RecogniTIon (1998)
意義:向機(jī)器學(xué)習(xí)世界引進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)
作者:Yann LeCun, Leon Bottou, Yoshua Bengio, and Patrick Haffner
2、Deep Boltzmann Machines (2009)
意義:為玻爾茲曼機(jī)提出了一種新的學(xué)習(xí)算法,其中包含許多隱藏變量層。
作者:Ruslan Salakhutdinov, Geoffrey Hinton
3、Building High-Level Features Using Large-Scale Unsupervised Learning (2012)
意義:解決了僅從未標(biāo)記的數(shù)據(jù)構(gòu)建高層次、特定類別的特征檢測器的問題。
作者:Quoc V. Le,Marc’Aurelio Ranzato,Rajat Monga,Matthieu Devin,Kai Chen,Greg S. Corrado,Jeff Dean,Andrew Y. Ng
4、DeCAF?—?A Deep ConvoluTIonal Activation Feature for Generic Visual Recognition (2013)
意義:釋放了一個(gè)深度卷積激活特征的開源實(shí)現(xiàn)——DeCAF,以及所有相關(guān)的網(wǎng)絡(luò)參數(shù),使視覺研究人員能夠深入地在一系列視覺概念學(xué)習(xí)范例中進(jìn)行實(shí)驗(yàn)。
作者:Jeff Donahue,Yangqing Jia,Oriol Vinyals,Judy Hoffman,Ning Zhang,Eric Tzeng,Trevor Darrell
5、Playing Atari with Deep Reinforcement Learning (2016)
意義:提供了第一個(gè)可以使用強(qiáng)化學(xué)習(xí)從高維感官輸入中直接學(xué)習(xí)控制策略的深度學(xué)習(xí)模型。
作者:
Volodymyr Mnih,Koray Kavukcuoglu,David Silver,Alex Graves,Ioannis Antonoglou,Daan Wierstra,Martin Riedmiller(DeepMind 團(tuán)隊(duì))
在這些學(xué)習(xí)和研究中,我發(fā)現(xiàn)大量非常有意思的知識點(diǎn)。在這里我將分享十個(gè)深度學(xué)習(xí)的方法,AI工程師可能會(huì)將這些應(yīng)用到他們的機(jī)器學(xué)習(xí)問題當(dāng)中。
不過,首先先讓我們來定義一下什么是“深度學(xué)習(xí)”。對很多人來說,給“深度學(xué)習(xí)”下一個(gè)定義確實(shí)很有挑戰(zhàn),因?yàn)樵谶^去的十年中,它的形式已經(jīng)慢慢地發(fā)生了很大的變化。
先來在視覺上感受一下“深度學(xué)習(xí)”的地位。下圖是AI、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三個(gè)概念的一個(gè)關(guān)系圖。