神經(jīng)網(wǎng)絡(luò)有什么天生的性質(zhì)

眾所周知，動(dòng)物與生俱來就有獨(dú)特能力和傾向，馬出生后幾個(gè)小時(shí)就能走路，鴨子孵化后很快就能游泳，而人類嬰兒會(huì)自動(dòng)被臉吸引。大腦已經(jīng)進(jìn)化到只需很少或根本沒有經(jīng)驗(yàn)就能承擔(dān)起這個(gè)世界，許多研究人員希望在人工智能中重現(xiàn)這種自然能力。

新研究發(fā)現(xiàn)，人工智能也能進(jìn)化出類似人和動(dòng)物那種與生俱來的能力。人工神經(jīng)網(wǎng)絡(luò)可以進(jìn)化為無需學(xué)習(xí)即可執(zhí)行任務(wù)。該技術(shù)可能會(huì)讓AI更擅長處理各種任務(wù)，例如為照片加標(biāo)簽或駕駛汽車。

人工神經(jīng)網(wǎng)絡(luò)靠的是小型計(jì)算節(jié)點(diǎn)（即神經(jīng)元）之間傳遞信息，網(wǎng)絡(luò)通常通過調(diào)整神經(jīng)元之間連接的“權(quán)重”或強(qiáng)度來學(xué)習(xí)執(zhí)行諸如玩游戲或識(shí)別圖像之類的任務(wù)。一種稱為神經(jīng)體系結(jié)構(gòu)搜索的技術(shù)會(huì)嘗試許多網(wǎng)絡(luò)形狀和大小，以便針對(duì)特定目的找到更好的神經(jīng)網(wǎng)絡(luò)。

新方法使用相同的搜索技術(shù)來查找權(quán)重?zé)o關(guān)緊要的網(wǎng)絡(luò)，對(duì)于這樣的網(wǎng)絡(luò)，網(wǎng)絡(luò)的整體形狀決定了它的智能，可能使其特別適合某些任務(wù)。

計(jì)算機(jī)科學(xué)家Adam Gaier說：“如果動(dòng)物具有所有這些固有的行為，并且某些神經(jīng)網(wǎng)絡(luò)在沒有大量訓(xùn)練的情況下就能很好地發(fā)揮作用，那么我們想知道我們能將這一想法推進(jìn)多遠(yuǎn)?！彼诠雀璐竽X工作期間以第一作者發(fā)表該論文。

該過程從一組非常簡(jiǎn)單的網(wǎng)絡(luò)開始，這些網(wǎng)絡(luò)將輸入（例如，來自機(jī)器人傳感器的數(shù)據(jù)）鏈接到行為輸出。它針對(duì)問題類型對(duì)網(wǎng)絡(luò)進(jìn)行評(píng)估，對(duì)網(wǎng)絡(luò)性能進(jìn)行優(yōu)化，通過增加神經(jīng)元或者說更改神經(jīng)元對(duì)求輸入的敏感程度來實(shí)現(xiàn)突變。在評(píng)估階段，系統(tǒng)會(huì)為網(wǎng)絡(luò)的所有權(quán)重分配一個(gè)共享的隨機(jī)數(shù)。（實(shí)際上是使用多個(gè)隨機(jī)數(shù)進(jìn)行計(jì)算，最后將結(jié)果取平均值。）

這種神經(jīng)網(wǎng)絡(luò)稱為重量不可知神經(jīng)網(wǎng)絡(luò)（WANNs），這些神經(jīng)網(wǎng)絡(luò)選取的節(jié)點(diǎn)都再任務(wù)中表現(xiàn)出色并且網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單。雖然處理這個(gè)領(lǐng)域的典型任務(wù)網(wǎng)絡(luò)可能具有數(shù)千個(gè)神經(jīng)元和權(quán)重，但WANNs僅有少數(shù)神經(jīng)元和一個(gè)權(quán)重。

盡管如此，WANNs依舊表現(xiàn)出色。研究團(tuán)隊(duì)將WANNs與標(biāo)準(zhǔn)網(wǎng)絡(luò)體系結(jié)構(gòu)進(jìn)行了比較，這些標(biāo)準(zhǔn)網(wǎng)絡(luò)體系結(jié)構(gòu)根據(jù)經(jīng)驗(yàn)調(diào)整權(quán)重，可以完成三個(gè)模擬任務(wù)：駕駛賽車，使兩足機(jī)器人行走，控制輪式推車以平衡桿位。

谷歌大腦研究人員通過精簡(jiǎn)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在前幾代中發(fā)現(xiàn)了最小架構(gòu)的神經(jīng)網(wǎng)絡(luò)能夠控制此處所示的雙足機(jī)器人，即使它的得分不高。

WANNs的得分大約是訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)的六分之一到一半，當(dāng)研究人員分配最佳權(quán)重而不是隨機(jī)權(quán)重時(shí)，則得分介于訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)得分的三分之二至五分之四。如果經(jīng)過進(jìn)化，WANNs的訓(xùn)練強(qiáng)度與更大的標(biāo)準(zhǔn)網(wǎng)絡(luò)相同，則它們的性能會(huì)不相上下。

在涉及識(shí)別手寫數(shù)字的任務(wù)中，WANN的準(zhǔn)確率超過90％（相比之下，接受該任務(wù)訓(xùn)練的較大網(wǎng)絡(luò)的準(zhǔn)確率則為99％），該研究于上個(gè)月在加拿大溫哥華的神經(jīng)信息處理系統(tǒng)（NeurIPS）會(huì)議上發(fā)表。

沒有參與這項(xiàng)研究的優(yōu)步人工智能實(shí)驗(yàn)室的計(jì)算機(jī)科學(xué)家劉珊珊（Rosanne Liu）說：“它們使整個(gè)事情能正常運(yùn)轉(zhuǎn)的事實(shí)令人印象深刻?！逼渌藝L試建立不依賴權(quán)重的網(wǎng)絡(luò)最終宣告失敗。Gaier說，這一突破最初是一個(gè)漏洞，該漏洞將所有權(quán)重分配了相同的數(shù)字，最終簡(jiǎn)化了搜索架構(gòu)。

盡管WANNs的性能并不能取代訓(xùn)練有素的大型網(wǎng)絡(luò)，但該方法為尋找專門適合各種任務(wù)的網(wǎng)絡(luò)架構(gòu)開辟了一條新途徑，即大腦的各個(gè)部分針對(duì)特定目的的接線方式不同。例如，卷積神經(jīng)網(wǎng)絡(luò)具有適合圖像識(shí)別的架構(gòu)，可以反映大腦視覺皮層的結(jié)構(gòu)。Gaier相信，還有更多的構(gòu)建基塊，可以使AI從一開始就很聰明。