人工智能在不斷發(fā)展的同時，其背后算力的消耗也十分驚人。有統(tǒng)計顯示，谷歌公司研發(fā)的伯特預(yù)訓(xùn)練語言模型，擁有3.4億個數(shù)據(jù)參數(shù)，而訓(xùn)練它一次所需的電力足夠一個美國家庭使用50天。
承載了人類未來大夢想、大可能和巨大挑戰(zhàn)的人工智能， 火了這么些年，取得了長足的發(fā)展，與之相輔相成的，是人工智能日益“龐大”的架構(gòu)體系，諸如常以十億計的計算單位，龐大的云計算數(shù)據(jù)中心……越來越“大”是人工智能的現(xiàn)實與未來嗎？
近日《麻省理工科技評論》公布年度十大突破性技術(shù)排行榜，微型人工智能技術(shù)（Tiny AI）位列其中。從大到小，難道是人工智能正在“返璞歸真”的途中？
不可持續(xù)的“大”人工智能
我們都知道，隨著研究人員不斷給算法“喂養(yǎng)”大量數(shù)據(jù)，機器學(xué)習變得越來越聰明，但它們是否也變得更環(huán)保呢？答案是否定的。
不可否認，人工智能在過去幾年中取得了許多突破。深度學(xué)習是許多人工智能系統(tǒng)實現(xiàn)高精度的突破之一。研究人員發(fā)現(xiàn)，雖然人工智能每一天都在變得更加精確，但同時也帶來了隱藏的環(huán)境代價。
“當前人工智能攜帶著龐大的數(shù)據(jù)集被輸入到云數(shù)據(jù)中心，然后由無窮無盡的算法進行分析。”威海北洋電氣集團股份有限公司副總工程師秦志亮表示，數(shù)據(jù)上傳到云中心的過程，以及通過復(fù)雜的算法結(jié)構(gòu)和精巧的訓(xùn)練方式獲得高精度的算法模型，不僅會產(chǎn)生驚人的碳排放量，而且限制了算法模型的運行與部署速度，同時帶來很多隱私問題。
美國馬薩諸塞大學(xué)阿默斯特分校研究人員的一項研究結(jié)論對秦志亮的說法提供了佐證。他們通過揭示算法訓(xùn)練的能量強度發(fā)現(xiàn)，訓(xùn)練一種算法產(chǎn)生的二氧化碳排放量相當于一輛普通汽車終生二氧化碳排放量的5倍，或者相當于飛機在紐約和舊金山之間大約300次的往返飛行。研究人員認為，在尋求人工智能高準確性的過程中，人們似乎失去了對能源效率的關(guān)注。
事實上，“大”人工智能也不適合離線和實時決策，比如自動駕駛解決方案，且日益依賴于巨大的能量、巨大的帶寬，這種模式在經(jīng)濟和生態(tài)上同樣具有不可持續(xù)性。
另外，更讓研究人員擔心的是，這一趨勢還可能加速人工智能研究集中到少數(shù)科技巨頭手中，在學(xué)術(shù)界或資源較少的國家，資源不足的實驗室根本沒有辦法使用或開發(fā)計算成本昂貴的模型。
去中心化或是未來趨勢
人工智能雖已融入大眾生活，但最終的成功還要取決于“落地”，實現(xiàn)大規(guī)模商用，這應(yīng)該是推動微型人工智能發(fā)展的直接原因。
“為了實現(xiàn)人類對人工智能遠大的夢想，我們必須從小處著想，甚至很小。云數(shù)據(jù)主導(dǎo)的趨勢正在轉(zhuǎn)變，未來的人工智能環(huán)境將是去中心化的。”海南普適智能科技有限公司CEO陳嘯翔說。
海南中智信信息技術(shù)有限公司總經(jīng)理于建港認為，“這是一條與計算機發(fā)展相反的路徑，計算機的發(fā)展經(jīng)歷了從個人終端，然后到互聯(lián)網(wǎng)化、虛擬化的過程。而微型人工智能是先互聯(lián)網(wǎng)化、虛擬化，再終端化。”
以伯特（Bert）為例。伯特是谷歌公司高級研發(fā)科學(xué)家雅各布·德夫林（Jacob Devlin）和他的團隊開發(fā)的預(yù)訓(xùn)練語言模型（PLM），它可以理解單詞和上下文，可以為寫作提出建議或獨立完成的句子。《麻省理工科技評論》報道中稱，伯特擁有3.4億個數(shù)據(jù)參數(shù)。此外，訓(xùn)練它一次所需的電力足夠一個美國家庭使用50天。
華為研究人員則發(fā)表文章稱，他們制作了微型伯特（TIny Bert）模型，尺寸比伯特縮小7.5倍，速度還快了近10倍。來自谷歌的研究人員也發(fā)表文章說，他們已經(jīng)造出了一個比伯特小了60多倍的版本，但其語言理解能力略差于華為的版本。
華為和谷歌他們是如何做到的？其實，這兩家公司都使用了一種常見的壓縮技術(shù)的變體，這種技術(shù)被稱為“知識提取”，可以讓想要縮小的大型人工智能模型去訓(xùn)練其圖像中的小得多的模型，類似于老師訓(xùn)練學(xué)生。
我們可以這樣理解，微型人工智能應(yīng)是人工智能研究界為縮小算法規(guī)模所做的努力。這不僅是減少模型的大小，而且還加快推理速度，保持了高水平的準確性。此外，還可以在邊緣部署小得多的算法，無需將數(shù)據(jù)發(fā)送到云，而是在設(shè)備上進行決策。
三個方面縮小現(xiàn)有模型
微小數(shù)據(jù)、微小硬件、新型材料、微小算法，微型人工智能是一種綜合方法，涉及數(shù)據(jù)、硬件和算法的共同開發(fā)。
如何在不明顯影響模型準確度的前提下，縮小現(xiàn)有的深度學(xué)習模型，秦志亮認為，可以從三個方面著手。一是硬件方面的邊緣端計算，二是算法方面的模型簡化，三是數(shù)據(jù)方面的小樣本訓(xùn)練。
無論是新技術(shù)還是新理念，大眾的關(guān)注點還是其在市場上的普及率，特別是產(chǎn)品量產(chǎn)與應(yīng)用。
“微型人工智能具體落地場景包括語音助手、數(shù)字化妝等，涉及到即時場景理解，邊緣端目標檢測等技術(shù);此外，微型人工智能也將使新的應(yīng)用成為可能，比如基于移動端的醫(yī)學(xué)影像分析，或?qū)Ψ磻?yīng)時間要求更快的自動駕駛模型的開發(fā)?！鼻刂玖琳f。
“現(xiàn)在微型算法一般在幾百兆到幾個G，完全可以裝在到手機上。”于建港說，微型人工智能可以應(yīng)用在所有需要前端控制的應(yīng)用上，即使5G已加速覆蓋了，網(wǎng)絡(luò)時延降低，但是像工控、自動駕駛、航天等需要快速反應(yīng)的應(yīng)用，都需要本地部署人工智能算法。他認為，將來的業(yè)務(wù)形態(tài)應(yīng)該是終端做出簡單快速的反饋，服務(wù)器做出重大決策。
在2019年年底的安博會上，已有人工智能初創(chuàng)企業(yè)推出“TIny AI”，該公司將低功耗、小體積的NPU與MCU整合，適配市場上各種主流的2D/3D傳感器，滿足2D/3D圖像、語音等識別需求的AI解決方案受到了業(yè)界的關(guān)注。此外，英偉達（NVIDIA）和華為等公司，也都陸續(xù)推出了終端型圖形處理器，體型較小、功耗較低、功能可以滿足簡單的算法。
技術(shù)初期期待寬松發(fā)展環(huán)境
微型人工智能尚處于初期發(fā)展階段，該領(lǐng)域的安全、倫理、隱私等問題也同樣引起人們的關(guān)注。
秦志亮擔心的問題有兩個。一是算法歧視可能激增。他說，算法歧視之所以難以解決，歸根結(jié)底在于算法的可解釋性與訓(xùn)練數(shù)據(jù)的不均衡，相比于傳統(tǒng)的云端訓(xùn)練，微型人工智能的訓(xùn)練數(shù)據(jù)集樣本較少，數(shù)據(jù)的分布可能更加偏頗。另一個隱患是數(shù)據(jù)偽造的影響。GAN（GeneraTIve Adversarial Network）和深度偽造技術(shù)為代表的視頻與圖像技術(shù)一直是人工智能算法研究的熱點。隨著這些技術(shù)的普及，未來的用戶端極有可能接收或產(chǎn)生大量的虛擬偽造數(shù)據(jù)。微型人工智能受限于計算力的制約，在分散式網(wǎng)絡(luò)架構(gòu)中，如何有效地甄別這些偽造數(shù)據(jù)，這很可能是一個隱患。
于建港則認為，微型人工智能會導(dǎo)致分布式人工智能的興起，每個終端都成為一個AI節(jié)點，各自都能獨立存活，出現(xiàn)類似區(qū)塊鏈的應(yīng)用。網(wǎng)絡(luò)側(cè)的控制力度將降低，政府的管控風險加大。不過，技術(shù)都是兩面性的，于建港分析，雖然有這些風險，但是對人工智能的管控技術(shù)也在發(fā)展，應(yīng)該相信微型人工智能的正面作用，不應(yīng)該在技術(shù)初期就限定太多條條框框。
下載文檔
