大力推動(dòng)AI Code Wags 硬件的發(fā)展

加利福尼亞州圣何塞——在人工智能中，硬件是尾巴，軟件是狗——這是一只非?；钴S的狗。只需瀏覽流行的arXiv.org網(wǎng)站，即可找到每天發(fā)布的一到兩篇新研究論文。

Wei Li 在英特爾領(lǐng)導(dǎo)一個(gè)致力于機(jī)器學(xué)習(xí)的軟件團(tuán)隊(duì)，他滔滔不絕地列出了十幾個(gè)流行的卷積、循環(huán)和其他神經(jīng)網(wǎng)絡(luò)模型。添加另一層，大多數(shù)大型云和芯片供應(yīng)商都創(chuàng)建了自己的框架，以在其平臺(tái)上優(yōu)化構(gòu)建和運(yùn)行模型。

“有多種拓?fù)浜涂蚣苄枰獪y(cè)試，”他說(shuō)。

不要讓復(fù)雜性壓倒你，BabbleLabs 的首席執(zhí)行官 Chris Rowen 說(shuō)，這是一家為音頻任務(wù)創(chuàng)建 DNN 引擎的初創(chuàng)公司?！吧窠?jīng)網(wǎng)絡(luò)的結(jié)構(gòu)對(duì)效率很重要，但其中任何一個(gè)都可以完成工作，”他說(shuō)?！霸诤芏嗲闆r下，這幾乎是風(fēng)格問(wèn)題?！?

自動(dòng)化學(xué)習(xí)可能是推動(dòng)軟件變革的最強(qiáng)大的大趨勢(shì)?？赡苄枰獛资甑臅r(shí)間才能演變成仍然被認(rèn)為是一種科幻小說(shuō)——可以獨(dú)立于人類學(xué)習(xí)的機(jī)器。與此同時(shí)，研究人員正在幫助今天的神經(jīng)網(wǎng)絡(luò)朝著這個(gè)方向邁出一小步。

“在我看來(lái)，人工智能的未來(lái)是自我監(jiān)督學(xué)習(xí)，”被認(rèn)為是卷積神經(jīng)網(wǎng)絡(luò)之父的 Yann LeCun 說(shuō)，現(xiàn)在廣泛用于計(jì)算機(jī)視覺和其他系統(tǒng)。他在最近的一篇論文中寫道：“趨勢(shì)是越來(lái)越依賴于無(wú)監(jiān)督、自我監(jiān)督、弱監(jiān)督或多任務(wù)學(xué)習(xí)，在這些學(xué)習(xí)中，更大的網(wǎng)絡(luò)表現(xiàn)得更好?！?

廣義對(duì)抗網(wǎng)絡(luò)作為一種讓系統(tǒng)做出自己的預(yù)測(cè)的技術(shù)，正在顯示出前景。在最近的一次演講中，LeCun 展示了用于設(shè)計(jì)時(shí)尚服裝和引導(dǎo)自動(dòng)駕駛汽車的 GAN 示例。他還提到了 BERT 等工作，這是一種使用谷歌最近開源的未標(biāo)記數(shù)據(jù)的預(yù)訓(xùn)練技術(shù)。

這樣的代碼需要大鐵和大量?jī)?nèi)存，未來(lái)的算法將需要更大的模型。LeCun 說(shuō)，明天的神經(jīng)網(wǎng)絡(luò)也將更加動(dòng)態(tài)和稀疏，使用新的基本原語(yǔ)，如動(dòng)態(tài)、不規(guī)則圖。

從長(zhǎng)遠(yuǎn)來(lái)看，“一個(gè)希望是，訓(xùn)練一個(gè)預(yù)測(cè)視頻的系統(tǒng)將使它能夠發(fā)現(xiàn)世界上許多隱藏的規(guī)律、幾何和物理學(xué)……[由此產(chǎn)生的預(yù)測(cè)模型]可能成為智能系統(tǒng)的核心……對(duì)于此類應(yīng)用例如機(jī)器人抓取和自動(dòng)駕駛，”他補(bǔ)充道。

對(duì)于為三星智能手機(jī)設(shè)計(jì) AI 模塊的 Jinook Song 等工程師來(lái)說(shuō)，近期的挑戰(zhàn)尤其嚴(yán)峻。他最近描述了最新的 8 納米 Exynos 芯片中的 5.5 毫米2 塊，當(dāng)神經(jīng)網(wǎng)絡(luò)允許修剪多達(dá)四分之三的重量時(shí)，該芯片的性能達(dá)到 6.937 TOPS。

他沒(méi)有踩剎車。當(dāng)被問(wèn)及他對(duì)下一代最想要什么時(shí)，他說(shuō)手機(jī)功率預(yù)算中的某種學(xué)習(xí)能力。

今天，強(qiáng)化學(xué)習(xí)的用途有限，但引起了廣泛關(guān)注，這部分歸功于谷歌在圍棋和其他游戲中與人類專家對(duì)弈的結(jié)果。英特爾的 Wei Li 表示，該技術(shù)將在未來(lái)的自動(dòng)駕駛汽車中發(fā)揮關(guān)鍵作用。

“強(qiáng)化學(xué)習(xí)就像一個(gè)代理，它嘗試事物并查看它們?cè)诂F(xiàn)實(shí)世界中的工作方式，通常是在通用 CPU 上進(jìn)行模擬”，因此它可能需要對(duì)定制芯片上的代理和運(yùn)行模擬的 CPU 進(jìn)行加速，Dave Patterson 解釋說(shuō)，他是一位資深的計(jì)算機(jī)研究人員，現(xiàn)在在 Google 工作了一段時(shí)間。

由于使用了時(shí)域編碼，佐治亞理工學(xué)院的研究人員最近在低端系統(tǒng)上進(jìn)行了強(qiáng)化學(xué)習(xí)。參與該項(xiàng)目的 Arijit Raychowdhury 說(shuō)，為該系統(tǒng)闡明正確的獎(jiǎng)勵(lì)是一大挑戰(zhàn)——這可能是一個(gè)全新的計(jì)算機(jī)科學(xué)領(lǐng)域。

例如，在一個(gè)項(xiàng)目中，學(xué)生們仔細(xì)定義了獎(jiǎng)勵(lì)，以鼓勵(lì)無(wú)人機(jī)最大限度地延長(zhǎng)電池壽命。它做到了——不動(dòng)?！皡?shù)太多，很容易弄錯(cuò)，”Raychowdhury 說(shuō)。

“深度強(qiáng)化學(xué)習(xí)是去年伯克利最熱門的課程之一，”韓國(guó)科學(xué)技術(shù)高等研究院教授 Hoi-Jun Yoo 說(shuō)?！斑@項(xiàng)技術(shù)看起來(lái)很有前途，但有很多變化，而且算法仍在開發(fā)中，因此尚不清楚它們?nèi)绾斡绊懹布！?

同時(shí)，中間件也在發(fā)展。今天的 AI 程序員“不像傳統(tǒng)程序員那樣選擇一種語(yǔ)言并堅(jiān)持使用 20 年，”帕特森說(shuō)。“顯然，每隔幾年，研究人員就會(huì)換馬……這個(gè)領(lǐng)域非常令人興奮，算法不斷改進(jìn)。”

MPEG 社區(qū)即將參與進(jìn)來(lái)。本月，它正在評(píng)估最初的提案，以響應(yīng)去年秋天提出的關(guān)于使用 MPEG 壓縮經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的方法的呼吁。諾基亞是積極響應(yīng)者之一。

它的早期階段，尤其是對(duì)于嵌入式環(huán)境，與數(shù)據(jù)中心運(yùn)營(yíng)商開始理解的早期工具和方法相去甚遠(yuǎn)?！盀榍度胧较到y(tǒng)開發(fā)深度學(xué)習(xí)并不適合膽小的人，”Rowen 說(shuō)。“使一切正常運(yùn)行需要限制、錯(cuò)誤、工具組合……而且實(shí)施仍然不完整和不成熟?！?

該領(lǐng)域一家初創(chuàng)公司的首席執(zhí)行官表示，用于構(gòu)建和運(yùn)行神經(jīng)網(wǎng)絡(luò)模型的新興企業(yè)軟件產(chǎn)品類別也是如此?！斑@個(gè)行業(yè)到處都需要抽象層，但它們還不存在，”Determined AI 的 Evan Sparks 說(shuō)。“缺乏標(biāo)準(zhǔn)文件格式來(lái)導(dǎo)出框架和協(xié)議之間的模型以構(gòu)建協(xié)同工作的工具——這是工具領(lǐng)域的狂野西部。”

這也是一次淘金的機(jī)會(huì)?！拔覍?duì)市場(chǎng)的最佳代理和下限是 Nvidia 去年的數(shù)據(jù)中心收入約為 40 億美元，高于三年前的約 2 億美元——幾乎全部用于深度學(xué)習(xí)，”Sparks 說(shuō)，他的客戶涉及從半導(dǎo)體等各個(gè)領(lǐng)域和基因組學(xué)到廢物管理。

今天，最好的神經(jīng)網(wǎng)絡(luò)軟件“存在于 Facebook、谷歌和微軟的四堵墻內(nèi)，”他說(shuō)?！八麄冋跇?gòu)建比任何人都更多更好的模型，并且擁有只能在內(nèi)部使用的高級(jí)軟件，但我的目標(biāo)是讓其他人也可以使用這種質(zhì)量的軟件?！?