神經(jīng)網(wǎng)絡(luò)計(jì)算現(xiàn)在很火嗎

深度挖掘的公司開始為特定應(yīng)用定制這種方法，并花費(fèi)大量資金來獲得初創(chuàng)公司。

具有先進(jìn)并行處理的神經(jīng)網(wǎng)絡(luò)已經(jīng)開始扎根于預(yù)測(cè)地震和颶風(fēng)到解析MRI圖像數(shù)據(jù)的許多市場(chǎng)，以便識(shí)別和分類腫瘤。

由于這種方法在更多的地方得到實(shí)施，所以它是以許多專家從未設(shè)想的方式進(jìn)行定制和解析的。它正在推動(dòng)對(duì)這些計(jì)算架構(gòu)如何應(yīng)用的新研究。

荷蘭Asimov研究所的深度學(xué)習(xí)研究員Fjodor van Veen已經(jīng)確定了27種不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)類型。 （參見下面的圖1）。差異主要是應(yīng)用程序特定的。

圖。 1：神經(jīng)網(wǎng)絡(luò)架構(gòu)。資料來源：阿西莫夫研究所

神經(jīng)網(wǎng)絡(luò)是基于閾值邏輯算法的概念，這是1943年由神經(jīng)生理學(xué)家Warren McCulloch和邏輯學(xué)家Walter Pitts首次提出的。研究在接下來的70年里一直徘徊，但是它真的開始飆升。

Nvidia的加速計(jì)算集團(tuán)產(chǎn)品團(tuán)隊(duì)負(fù)責(zé)人Roy Kim表示：“2012-2013年的大爆炸事件發(fā)生在兩個(gè)里程碑式的出版物上。其中一篇論文是由Geoffrey Hinton和他的團(tuán)隊(duì)從多倫多大學(xué)（現(xiàn)在也是谷歌的半時(shí)間）撰寫，題為“ImageNet Classification with Deep ConvoluTIonal Neural Networks”。然后在2013年，Stanford的Andrew Ng（現(xiàn)在也是百度首席科學(xué)家），他的團(tuán)隊(duì)發(fā)表了“與COTS HPC系統(tǒng)深度學(xué)習(xí)”。

Nvidia早期認(rèn)識(shí)到，深層神經(jīng)網(wǎng)絡(luò)是人工智能革命的基礎(chǔ)，并開始投資于將GPU引入這個(gè)世界。 Kim指出卷積神經(jīng)網(wǎng)絡(luò)，復(fù)發(fā)神經(jīng)網(wǎng)絡(luò)和長(zhǎng)時(shí)間內(nèi)存（LSTM）網(wǎng)絡(luò)，其中每個(gè)網(wǎng)絡(luò)都設(shè)計(jì)用于解決特定問題，如圖像識(shí)別，語(yǔ)音或語(yǔ)言翻譯。他指出，Nvidia正在所有這些領(lǐng)域招聘硬件和軟件工程師。

6月份，Google大幅增加新聞，Google在神經(jīng)網(wǎng)絡(luò)手臂競(jìng)賽的半導(dǎo)體領(lǐng)域處于領(lǐng)先地位。 Google卓越的硬件工程師Norm Jouppi公布了公司幾年努力的細(xì)節(jié)，Tensor處理器單元（TPU）是實(shí)現(xiàn)硅芯片神經(jīng)網(wǎng)絡(luò)組件的ASIC，而不是使用原始硅計(jì)算電源和內(nèi)存庫(kù)和軟件，這也是谷歌也做的。

TPU針對(duì)TensorFlow進(jìn)行了優(yōu)化，TensorFlow是Google使用數(shù)據(jù)流圖進(jìn)行數(shù)值計(jì)算的軟件庫(kù)。它已經(jīng)在Google數(shù)據(jù)中心運(yùn)行了一年多。

不過，這不僅僅是一些正在爭(zhēng)奪這一市場(chǎng)的玩家。創(chuàng)業(yè)公司Knupath和Nervana進(jìn)入這個(gè)戰(zhàn)爭(zhēng)，尋求設(shè)計(jì)具有神經(jīng)網(wǎng)絡(luò)的晶體管領(lǐng)域。英特爾上個(gè)月向Nervana報(bào)了4.08億美元。

Nervana開發(fā)的硅“引擎”是在2017年的某個(gè)時(shí)候。Nervana暗示了前進(jìn)的內(nèi)存緩存，因?yàn)樗哂? Tb /秒的內(nèi)存訪問速度。但事實(shí)上，Nervana在2014年以種子資本開始投入60萬美元，并在兩年之后賣出近680倍的投資，這證明了行業(yè)和金融家們正在占據(jù)的空間 - 以及這個(gè)市場(chǎng)有多熱。

汽車是該技術(shù)的核心應(yīng)用，特別適用于ADAS。 Arteris董事長(zhǎng)兼首席執(zhí)行官Charlie Janac說：“關(guān)鍵是您必須決定圖像是什么，并將其轉(zhuǎn)化為卷積神經(jīng)網(wǎng)絡(luò)算法。 “有兩種方法。一個(gè)是GPU。另一種是ASIC，其最終獲勝并且使用較少的電力。但一個(gè)非常好的實(shí)現(xiàn)是緊密耦合的硬件和軟件系統(tǒng)。

然而，到緊密耦合系統(tǒng)的這一點(diǎn)，取決于對(duì)什么問題需要解決的深刻理解。

LeTI首席執(zhí)行官M(fèi)arie Semeria說：“我們必須開發(fā)不同的技術(shù)選擇。 “這是全新的。首先，我們必須考慮使用。這是一種完全不同的駕駛技術(shù)方式。這是一個(gè)神經(jīng)性的技術(shù)推動(dòng)。你需要什么？然后，您將根據(jù)此開發(fā)解決方案?！?/p>

該解決方案也可以非?？臁?Cadence顧問Chris Rowen表示，其中一些系統(tǒng)每秒可以運(yùn)行數(shù)萬億次操作。但并不是所有這些操作都是完全準(zhǔn)確的，而且這個(gè)操作也必須被構(gòu)建到系統(tǒng)中。

Rowen說：“你必須采取一種統(tǒng)計(jì)手段來管理正確性。 “你正在使用更高的并行架構(gòu)。”

比較這些系統(tǒng)并不容易。在討論Google TPU時(shí)，Jouppi強(qiáng)調(diào)了世界各地的研究人員和工程師團(tuán)隊(duì)的基本工作方法，以及他們正在使用的硬件和軟件的性能：ImageNet。 ImageNet是大學(xué)研究人員獨(dú)立維護(hù)的1400萬張圖像的集合，它允許工程團(tuán)隊(duì)將他們的系統(tǒng)找到對(duì)象和分類（通常是其子集）的時(shí)間縮短。

本月晚些時(shí)候，ImageNet大型視覺識(shí)別挑戰(zhàn)賽（ILSVRC）的結(jié)果將于2016年發(fā)布，作為在阿姆斯特丹舉行的歐洲計(jì)算機(jī)視覺會(huì)議（ECCV）的一部分。

所有在這里討論的玩家將在那里，包括Nvidia，百度，谷歌和英特爾。高通也將在那里，因?yàn)樗_始關(guān)鍵的軟件庫(kù)，就像Nvidia一樣。 Nvidia將展示其DGX-1深度學(xué)習(xí)用具和Jetson嵌入式平臺(tái)，適用于視頻分析和機(jī)器學(xué)習(xí)。

ECCV 2016的總裁Arnold Smeulders和Theo Gevers告訴“半導(dǎo)體工程”，ECCV的許多與會(huì)者都在半導(dǎo)體技術(shù)領(lǐng)域工作（而不是硅片上運(yùn)行的軟件），從而實(shí)現(xiàn)計(jì)算機(jī)視覺。

“最近，半導(dǎo)體技術(shù)強(qiáng)國(guó)已經(jīng)開始對(duì)計(jì)算機(jī)視覺感興趣，”他們通過電子郵件說。 “現(xiàn)在，電腦可以了解圖像中存在哪些類型的場(chǎng)景和類型的場(chǎng)景。這需要從注釋示例中描述與機(jī)器學(xué)習(xí)匹配的特征中的圖像。在過去五年中，這些算法的力量使用深層學(xué)習(xí)架構(gòu)大大增加。由于它們是計(jì)算密集型產(chǎn)品，包括高通，英特爾，華為和三星在內(nèi)的芯片制造商，以及蘋果，谷歌，亞馬遜等大型企業(yè)以及許多高科技創(chuàng)業(yè)公司也將進(jìn)入計(jì)算機(jī)視覺階段。

Smeulders和Gevers表示，興趣已經(jīng)增長(zhǎng)到這樣的高度，會(huì)議場(chǎng)地在一個(gè)月前達(dá)到最大容量，注冊(cè)預(yù)計(jì)將會(huì)結(jié)束。

以前的ECCV版本長(zhǎng)期以來每年大約有100名與會(huì)者長(zhǎng)大，在蘇黎世的上一版本以1，200的成績(jī)結(jié)束。 “今年，我們?cè)跁?huì)議前一個(gè)月已經(jīng)有1500位與會(huì)者。在這一點(diǎn)上，我們不得不關(guān)閉注冊(cè)，因?yàn)槲覀児陀玫慕ㄖ?，荷蘭皇家劇院，不能更舒適地?fù)碛?，“他們寫道?/p>

隨著行業(yè)的復(fù)雜和變化，工程經(jīng)理尋找必要的技能是很困難的。它還引發(fā)了電氣工程和計(jì)算機(jī)科學(xué)學(xué)生關(guān)于他們的課程是否會(huì)過時(shí)的問題，然后才能將它們應(yīng)用于市場(chǎng)。那么一個(gè)學(xué)生對(duì)電子學(xué)有興趣，特別是半導(dǎo)體在計(jì)算機(jī)視覺中的作用呢，可以在現(xiàn)場(chǎng)找到工作嗎？

Semulders和Gevers表示：“由于圖像［識(shí)別］是每1/30秒的大量數(shù)據(jù)，所以半導(dǎo)體行業(yè)受到重視是很自然的事情?！?“由于大量的數(shù)據(jù)，直到最近，注意力僅限于處理圖像以產(chǎn)生另一個(gè)圖像（更可見，更清晰的圖像中的突出顯示元素）或減少圖像（目標(biāo)區(qū)域或壓縮版本）。這是圖像處理領(lǐng)域：圖像輸入，圖像輸出。但最近，計(jì)算機(jī)視覺領(lǐng)域 - 即對(duì)圖像中可見的解釋 - 已經(jīng)經(jīng)歷了一個(gè)非常有成效的時(shí)期。他們寫道：要了解圖像的本質(zhì)，正在形成的方式和深入網(wǎng)絡(luò)分析的方式，是現(xiàn)代計(jì)算機(jī)視覺的關(guān)鍵組成部分。

隨機(jī)信號(hào)處理，機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺將是學(xué)習(xí)和培訓(xùn)的領(lǐng)域。

ECCV的亞洲對(duì)手是亞洲CCV。在這幾年，國(guó)際CCV舉行。 Smeulders和Gevers指出，每年夏天在美國(guó)舉行的計(jì)算機(jī)視覺和模式識(shí)別會(huì)議是對(duì)CCVs的補(bǔ)充，但是重點(diǎn)略有不同。 Google認(rèn)為它是所有審查學(xué)科的前100名研究來源之一，這是列表中唯一的會(huì)議。論文將于11月15日在檀香山舉行的7月份e會(huì)議上公布。

Nvidia的Kim和其他人認(rèn)為2012年至2013年將成為在這些神經(jīng)網(wǎng)絡(luò)應(yīng)用中用于計(jì)算機(jī)視覺等任務(wù)的GPU的“大爆炸”。那么下一個(gè)大爆炸又是什么？

“自2004年以來，對(duì)圖像內(nèi)容進(jìn)行分類的比賽重新開始，幾個(gè)算法步驟已經(jīng)鋪平了道路，”Smeulders和Gevers寫道。 “一個(gè)是SIFT特征［Scale Invariant Feature Transform］。另一種是一些單詞和其他編碼方案，以及特征定位算法，以及大量圖像數(shù)據(jù)的特征學(xué)習(xí)。然后，GPU為深入學(xué)習(xí)網(wǎng)絡(luò)鋪平了道路，進(jìn)一步提高了性能，因?yàn)樗鼈兗铀倭藬?shù)據(jù)集的學(xué)習(xí)。這意味著需要幾周的任務(wù)現(xiàn)在可以在一夜之間運(yùn)行。下一個(gè)大爆炸將再次在算法方面。

鑒于投入這筆市場(chǎng)的金額很大，毫無疑問，大事情將會(huì)前進(jìn)。還有多大的待觀察，但鑒于這種方法的活動(dòng)量以及投資的數(shù)量，預(yù)期是非常高的。