高通驍龍835，不僅僅是手機(jī)芯片

機(jī)器學(xué)習(xí)(Machine Learning, ML)是一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。

機(jī)器學(xué)習(xí)是在VR/AR之后最被業(yè)界看好的技術(shù)，幾乎所有的業(yè)界巨頭都有涉足。

在硬件領(lǐng)域，英特爾Xeon Phi家族與英偉達(dá)Tesla P/K系列，分別是X86和GPU陣營的機(jī)器學(xué)習(xí)芯片代表。

軟件領(lǐng)域的微軟、Google、facebook等巨頭也早就在自家產(chǎn)品中加入機(jī)器學(xué)習(xí)，當(dāng)中的Google甚至也定制了神經(jīng)網(wǎng)絡(luò)專用的TPU(張量處理單元)和英偉達(dá)的硬拼。

雖然Google和facebook這種廠商很早就把機(jī)器學(xué)習(xí)的成功應(yīng)用在自家的搜索、圖片和視頻相關(guān)業(yè)務(wù)上。但不可否認(rèn)，此前的機(jī)器學(xué)習(xí)無論是技術(shù)還是設(shè)備門檻，對(duì)于普通用戶，甚至很多軟硬件開發(fā)者來說，依舊是非常高大上和陌生的高科技。

這一切，得等到高通在驍龍計(jì)算平臺(tái)上加入機(jī)器學(xué)習(xí)相關(guān)的軟硬件支持之后才開始有所轉(zhuǎn)變。高通作為受眾最廣的移動(dòng)領(lǐng)域上游廠商，其在消費(fèi)級(jí)產(chǎn)品上加入機(jī)器學(xué)習(xí)支持，這個(gè)理念不但超前，而且還很可能是里程碑式的。

起起落落60載，機(jī)器學(xué)習(xí)為何物?

人工智能學(xué)科在20世紀(jì)40年代誕生，第一個(gè)游戲AI在1951年出現(xiàn)，但其實(shí)只是個(gè)可以下西洋棋的程序。1956年達(dá)特茅斯會(huì)議后的數(shù)年，是人工智能的大發(fā)現(xiàn)時(shí)代，那時(shí)候的計(jì)算機(jī)已經(jīng)可以證明幾何定理、學(xué)習(xí)和使用英語了。

60年間，人工智能的發(fā)展重點(diǎn)經(jīng)過從“推理”到“知識(shí)”再到“學(xué)習(xí)”為主導(dǎo)的變遷，分別代表了程序、暴力窮盡和神經(jīng)網(wǎng)絡(luò)等不同時(shí)代的人中只能方案。而提到人工智能就必須要提到機(jī)器學(xué)習(xí)和深度學(xué)習(xí)。

與傳統(tǒng)的有明確目標(biāo)的程序不同，機(jī)器學(xué)習(xí)具備自行創(chuàng)建模型和算法的能力，其是通過大量數(shù)據(jù)讓計(jì)算機(jī)從數(shù)據(jù)中自動(dòng)分析和改善算法模型，從而對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測的過程。機(jī)器學(xué)習(xí)早已被廣泛應(yīng)用于數(shù)據(jù)挖掘、計(jì)算機(jī)視覺、自然語言處理、手寫識(shí)別、生物特征識(shí)別、搜索引擎、DNA測序等領(lǐng)域。

實(shí)現(xiàn)計(jì)算機(jī)自動(dòng)創(chuàng)建并修正模型和算法的方案有很多種，而深度學(xué)習(xí)則是近年來名聲最大、應(yīng)用最廣的分支。深度學(xué)習(xí)通過模擬生物大腦神經(jīng)元的神經(jīng)網(wǎng)絡(luò)架構(gòu)，對(duì)數(shù)據(jù)進(jìn)行進(jìn)行高層抽象。

Siri/Google Assistant/微軟小娜等語音助手、剛開始爆發(fā)的智能音箱、Prisma線上自動(dòng)修圖、手機(jī)云相冊(cè)的人臉識(shí)別和篩選等，這些以前看起來很神奇的功能，都是深度學(xué)習(xí)的直接結(jié)果。

計(jì)算機(jī)慢慢地開始可以表現(xiàn)得像人類，甚至代替人類做簡單的腦力工作了。換個(gè)淺顯一點(diǎn)的角度看，機(jī)器學(xué)習(xí)正在把語音和圖像，這些以前計(jì)算機(jī)無法理解和使用的數(shù)據(jù)轉(zhuǎn)換為實(shí)用功能了。

高通初見成果的十年耕耘

和其他巨頭一樣，高通很早就進(jìn)入了人工智能領(lǐng)域。10年前，真正的智能手機(jī)誕生之初，高通就開始了人工智能的基礎(chǔ)研究，隨后高通投資并和Brain Corp合作，專注于生物真實(shí)性的脈沖神經(jīng)網(wǎng)絡(luò)的研究。

2013年，高通研究人工神經(jīng)處理構(gòu)架并通過深度學(xué)習(xí)進(jìn)行人臉識(shí)別的研究。2014年，高通收購了Euvison并于次年的MWC上展示了照片分類和手寫識(shí)別技術(shù)。

在深度學(xué)習(xí)大熱的2016年，高通和Google兩個(gè)巨頭在機(jī)器學(xué)習(xí)上合作，驍龍平臺(tái)對(duì)Google的TensorFlow機(jī)器學(xué)習(xí)語言做了適配和相互優(yōu)化。同年，高通推出了NPE(Neural Processing Engine神經(jīng)處理引擎)深度學(xué)習(xí)軟件開發(fā)包SDK。

2017年，高通宣布支持Facebook的 Caffe2開源深度學(xué)習(xí)框架，隨后高通收購了從阿姆斯特丹大學(xué)(UvA)分拆的人工智能公司Scyfer。

此外，高通也是最早大規(guī)模應(yīng)用深度學(xué)習(xí)成果的廠商。高通的最早落地的人工智能項(xiàng)目是2013年的Zeroth處理器和Zeroth認(rèn)知計(jì)算平臺(tái)，其核心正是深度學(xué)習(xí)。

在早期試驗(yàn)性質(zhì)的驍龍Rover、驍龍Cargo等機(jī)器人上，高通通過深度卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了人臉識(shí)別和視覺避障等功能，在與Planet GmBH的合作中則實(shí)現(xiàn)了OCR手寫識(shí)別。

最早從機(jī)器學(xué)習(xí)中受益的移動(dòng)攝影領(lǐng)域，早在2015年就開始大規(guī)模應(yīng)用機(jī)器學(xué)習(xí)的成果。當(dāng)年安卓旗艦開始搭載的各種情景模式相機(jī)、OCR識(shí)別文本和筆跡的能力，用的正是就高通驍龍系列處理器的開放接口。

而更上一階的Google，在自家手機(jī)系列上的HDR+技術(shù)，正是通過高通的Hexagon DSP，使用Halide語言提供的深度學(xué)習(xí)能力進(jìn)行圖形處理加速。

和以前的處理器構(gòu)架、傳感器、指紋、曲面屏等單一的技術(shù)突破不同，深度學(xué)習(xí)幾乎可以強(qiáng)化所有和算法有關(guān)的部分。而高通今年的驍龍835，可以說是史上機(jī)器學(xué)習(xí)成果最集中的一代移動(dòng)計(jì)算平臺(tái)，經(jīng)過了大量認(rèn)知訓(xùn)練的機(jī)器學(xué)習(xí)算法和應(yīng)用，被用于對(duì)續(xù)航、相機(jī)、安全、連接和VR/AR的優(yōu)化上。

影像方面，機(jī)器學(xué)習(xí)優(yōu)化了驍龍平臺(tái)對(duì)場景模式的分類能力，在HDR、夜景等算法判斷以及多幀合成的過程中，機(jī)器學(xué)習(xí)用于幫助手機(jī)識(shí)別場景和物體邊緣，提供更好的銳化和降噪效果，這些都是傳統(tǒng)算法和硬件都無法提供的可能性。

而在即將全面爆發(fā)的雙攝領(lǐng)域，無論是黑白雙攝的畫面數(shù)據(jù)合成和優(yōu)化，長短焦雙攝的平滑變焦、大量的后期降噪和銳化算法、還是背景虛化所需的物體邊緣識(shí)別和摳圖算法，都少不了深度學(xué)習(xí)。

在更偏向后期的圖像增強(qiáng)領(lǐng)域，驍龍835的機(jī)器學(xué)習(xí)可以根據(jù)現(xiàn)有的數(shù)據(jù)，以及從其他類似圖像訓(xùn)練出來的算法進(jìn)行推斷，對(duì)圖像進(jìn)行重建或填充圖像中缺失的部分，以此提升多幀合成的后期降噪和去鬼影效果。

配合Hexagon 682 DSP，驍龍835上追蹤速度和精度更高的面部檢測和人臉識(shí)別，可以用于改善自動(dòng)對(duì)焦性能或進(jìn)行人像美化，甚至是在視頻拍攝過程中的使用人工智能完成追焦任務(wù)。

在Google和蘋果剛加入戰(zhàn)局的虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)領(lǐng)域，其重點(diǎn)是用戶物理位置的感知定位和高速的畫面渲染。機(jī)器學(xué)習(xí)在驍龍835上被用于整合攝像頭和傳感器數(shù)據(jù)，高通的視覺慣性測距(VIO)頭部運(yùn)動(dòng)跟蹤系統(tǒng)，在處理攝像頭的30 FPS的畫面外，還需要以高達(dá)800-1000Hz的頻率處理加速度計(jì)和陀螺儀在6自由度(6-DOF)的數(shù)據(jù)。

在驍龍835的異構(gòu)計(jì)算系統(tǒng)中，這個(gè)工作交給了Hexagon 682 DSP處理，以提供比CPU高4倍的性能和更低的耗電，而畫面渲染則交給了性能提升高達(dá) 25% 的 Adreno 540 。機(jī)器學(xué)習(xí)甚至還會(huì)預(yù)測下一個(gè)畫面，讓GPU精確調(diào)整當(dāng)前內(nèi)容。

在視覺之外的自然語言處理上，大規(guī)模神經(jīng)網(wǎng)咯訓(xùn)練出來的算法很早之前就能做到實(shí)時(shí)的語音轉(zhuǎn)文字，而驍龍835上運(yùn)用的深度神經(jīng)網(wǎng)絡(luò)，被用來學(xué)習(xí)如何更好地理解語音指令和問題，通過將其轉(zhuǎn)化為合適的指令，而且DSP可以做到比以前更低的功耗、響應(yīng)更快的全天候語音待命。

在驍龍835上，高通整合了SecureMSM的軟硬件并引入了Haven安全平臺(tái)，以提升生物識(shí)別與終端認(rèn)證的安全性。讓驍龍835成為首個(gè)支持全部生物識(shí)別方案的計(jì)算平臺(tái)，在幾年前就開始用機(jī)器學(xué)習(xí)的Sense ID 3D指紋識(shí)別和聲紋信息的生物識(shí)別之外，驍龍835可以使用安全攝像頭實(shí)現(xiàn)基于眼球、面部，甚至虹膜的識(shí)別。

機(jī)器學(xué)習(xí)的預(yù)測能力也被加入到大家已經(jīng)習(xí)以為常的通話上，在驍龍835上除了環(huán)境聲音檢測和消除，還能對(duì)聲音模式進(jìn)行預(yù)測和判斷。

命運(yùn)式的差異：高通的移動(dòng)終端機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)需要進(jìn)行大量的數(shù)據(jù)訓(xùn)練，以前的移動(dòng)設(shè)備根本不具備神經(jīng)網(wǎng)絡(luò)模擬的硬件電路和運(yùn)算能力，所以現(xiàn)階段大部分廠商的機(jī)器學(xué)習(xí)都是基于大型的CPU/GPU集群，然后通過云端與移動(dòng)連接，從而提供計(jì)算機(jī)視覺、語音助手等深度學(xué)習(xí)功能。

這就是為什么智能語音助手一但斷網(wǎng)就基本殘廢，以及相冊(cè)應(yīng)用中的人臉識(shí)別和分類功能，只能在照片上傳云端之后才能使用的原因。

而高通在通訊和移動(dòng)血統(tǒng)上的差異，讓其在機(jī)器學(xué)習(xí)的出發(fā)點(diǎn)和立意上，就注定和其他芯片廠商完全不同，并提出了截然不同的思路——移動(dòng)終端的機(jī)器學(xué)習(xí)。

高通定義了NPU(Neural Processing Unit，神經(jīng)處理單元)并改用其執(zhí)行深度學(xué)習(xí)任務(wù)后，其目標(biāo)是讓智能手機(jī)、汽車、無人機(jī)、機(jī)器人等數(shù)十億移動(dòng)設(shè)備，都能實(shí)現(xiàn)一定程度的人工智能。

更出乎業(yè)界預(yù)料的是，高通在去年的驍龍820、今年的驍龍835和驍龍660等計(jì)算平臺(tái)上就加入了大量深度學(xué)習(xí)的支持(而業(yè)界下一個(gè)跟進(jìn)的Kirin 970得等到2017年底才會(huì)量產(chǎn))。

驍龍835還加入NPE神經(jīng)網(wǎng)絡(luò)技術(shù)支持，支持卷積和循環(huán)神經(jīng)網(wǎng)絡(luò)加速，廠商可以定制神經(jīng)網(wǎng)絡(luò)層，高通也以極高的速度引入了Caffe、CudaConvNet、Google TensorFlow和facebook 的Caffe 2等深度學(xué)習(xí)語言和框架的支持。

當(dāng)中的關(guān)鍵是高通的異構(gòu)計(jì)算概念和近年來規(guī)模和性能暴漲的Hexagon DSP。其內(nèi)置的HVX(Hexagon向量擴(kuò)展)專門用于圖像和視頻處理、虛擬現(xiàn)實(shí)和機(jī)器視覺等應(yīng)用，其還借用了大量來自高級(jí)CPU內(nèi)核的概念，讓驍龍平臺(tái)的DSP成為了移動(dòng)端性能最強(qiáng)、功能最廣的DSP。

Hexagon 682在機(jī)器學(xué)習(xí)方面的的性能達(dá)到CPU的8倍，但卻比CPU省電25倍。驍龍和NPE所帶來的重要優(yōu)勢(shì)是，開發(fā)者和OEM廠商能夠基于應(yīng)用的功能和性能要求，自行在Kryo 280 CPU、Adreno 540 GPU和Hexagon DSP 及其Hexagon Vector eXentions(HVX)中，選擇最高效的異構(gòu)化核心運(yùn)行模型。

高通的移動(dòng)化機(jī)器學(xué)習(xí)理念雖然非常大膽，但確注定是未來的其中一個(gè)形態(tài)。無論是在無人駕駛、計(jì)算機(jī)視覺識(shí)別，還是自然語言處理等機(jī)器學(xué)習(xí)，移動(dòng)端在即時(shí)響應(yīng)、可靠性、隱私保護(hù)等很多優(yōu)勢(shì)，都是現(xiàn)有的云端模式所無法提供的。

此外，移動(dòng)端是最重要的圖像和聲音數(shù)據(jù)源，在最靠近數(shù)據(jù)源的位置處理，除了高效利用網(wǎng)絡(luò)帶寬外，還是對(duì)云端處理的重要補(bǔ)充。

高通對(duì)機(jī)器學(xué)習(xí)的方案和態(tài)度，和英特爾、英偉達(dá)等傳統(tǒng)硬件廠商截然不同。把機(jī)器學(xué)習(xí)功能加入到自家的消費(fèi)級(jí)旗艦驍龍835上，這就足以在人工智能史上留下濃墨重彩的一筆了。

驍龍系列是地球上應(yīng)用最廣泛的計(jì)算平臺(tái)之一，在這上面加入機(jī)器學(xué)習(xí)支持，變相等于為數(shù)十億的移動(dòng)終端設(shè)備加入深度學(xué)習(xí)支持，讓移動(dòng)設(shè)備變成移動(dòng)的人工智能平臺(tái)，極大地降低了機(jī)器學(xué)習(xí)的軟硬件門檻，為全世界的應(yīng)用開發(fā)商和開發(fā)者打開了新世界的大門。

大量以前只能在服務(wù)器端部署的深度學(xué)習(xí)算法，都可以交給移動(dòng)終端完成。在速度、安全和實(shí)時(shí)性上的巨大提升，讓本地的計(jì)算機(jī)視覺、真正的個(gè)人語音助理、AR增強(qiáng)現(xiàn)實(shí)等都將成為可能。

總結(jié)

機(jī)器學(xué)習(xí)雖然聽起來高大上，但本質(zhì)還是運(yùn)行在特定電路上的算法。寫算法的人類是有邊界的，但我們創(chuàng)造了在算法和模型上都超越人類的機(jī)器。人類的發(fā)展史，就是制造比自身更強(qiáng)的工具為人類代勞的歷史。在機(jī)器學(xué)習(xí)這件事上，本質(zhì)也和以前一樣，只是以前工具代替的是人力勞動(dòng)，而機(jī)器學(xué)習(xí)代替的是人類腦力勞動(dòng)。

移動(dòng)化浪潮之后，社會(huì)從PC為主導(dǎo)的信息時(shí)代過渡到智能時(shí)代，而機(jī)器學(xué)習(xí)將會(huì)是下一個(gè)拐點(diǎn)。其與以前在處理器、傳感器、用戶界面等方面的單點(diǎn)突破不同，作為讓驍龍835在攝影、VR/AR、語音檢測、安全性等多方面，以超越摩爾定律的速度暴漲的功臣，機(jī)器學(xué)習(xí)幾乎可以用在幾乎所有和算法相關(guān)的領(lǐng)域。

高通10年前就開始研究和布局的人工智能，從早期人臉識(shí)別和OCR領(lǐng)域的初露鋒芒，到在驍龍835上的多點(diǎn)突破，再到移動(dòng)端機(jī)器學(xué)習(xí)的支持和布局，都領(lǐng)先了移動(dòng)市場一大截。但高通囊括了智能手機(jī)、VR/AR、智能穿戴、智能家居、無人機(jī)、無人駕駛等多個(gè)領(lǐng)域，數(shù)十億設(shè)備的萬物升級(jí)，才剛剛開始。