從GenAI到PhyAI，大模型時(shí)代邊緣智能的新思考與新范式

Netflix花了10年時(shí)間達(dá)到1億用戶，Twitter用了5年，Instagram達(dá)成這一里程碑用了2.5年，TikTok則縮短到9個(gè)月。然而，OpenAI的ChatGPT僅用了2個(gè)月就突破了1億用戶大關(guān)。這一趨勢表明，隨著時(shí)間的推移，科技尤其是人工智能的普及速度顯著加快，AI應(yīng)用的用戶增長速度遠(yuǎn)遠(yuǎn)超過了傳統(tǒng)的社交媒體和流媒體平臺。

“現(xiàn)在AI已經(jīng)可以在云端部署，寫詩、作畫、聊天、客服、視頻生成，但是 AI在邊緣落地的速度也是非常驚人的?！盇rm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁Chloe Ma（馬健）在深圳國際電子展的Kaifa Gala活動上講到，“我們正在迎來AI的‘iphone’時(shí)刻?！?

從GenAI到PhyAI，邊緣AI即將迎來爆發(fā)

當(dāng)前正處在AI計(jì)算的普及初期，AI基礎(chǔ)設(shè)施的部署都是以云和數(shù)據(jù)中心為主。但AI模型和計(jì)算芯片技術(shù)的突破，以及來自應(yīng)用層面的實(shí)時(shí)響應(yīng)成本、用戶體驗(yàn)和安全隱私的訴求，都讓AI算力迅速“撲“到了邊緣設(shè)備上。

AI PC、AI手機(jī)和AI汽車等新的產(chǎn)品形態(tài)出不窮，通過AI加持的CPU、GPU和NPU能夠?qū)崿F(xiàn)對于小型語言模型在邊緣設(shè)備上的本地支持。而多模態(tài)大模型也將在自動駕駛、具身智能、黑燈工廠和智能家居中樞等新的計(jì)算場景中實(shí)現(xiàn)賦能，未來的這些智能中樞能夠匯集多模態(tài)的輸入，以全自動的方式為我們提供服務(wù)。

而要實(shí)現(xiàn)這樣的愿景，需要是一個(gè)從GenAI到PyhAI的轉(zhuǎn)化，而要實(shí)現(xiàn)這一轉(zhuǎn)化包含了多模態(tài)性（Multimodality）、端到端（End-to-End）和三維空間和物理理解（3D Spatial and Physics Understanding）三部分。

首先是多模態(tài)性（Multimodality），這意味著GenAI可以處理和生成多種形式的數(shù)據(jù)，包括文本、圖像、聲音、視頻和數(shù)據(jù)等，增強(qiáng)了其理解和生成能力。接著是端到端（End-to-End）的發(fā)展，從大型語言模型（LLMs）進(jìn)化到多模態(tài)大型語言模型（MLLMs），使其不僅能夠處理單一模態(tài)數(shù)據(jù)，還具備了處理多模態(tài)數(shù)據(jù)的能力，實(shí)現(xiàn)了端到端的全流程處理。最后是三維空間和物理理解（3D Spatial and Physics Understanding），這一階段的AI具備了理解和模擬三維空間及物理現(xiàn)象的能力，朝著更接近物理世界的智能方向邁進(jìn)。

從單一模態(tài)數(shù)據(jù)處理，逐步發(fā)展到多模態(tài)數(shù)據(jù)處理，最終演化出理解物理空間和物理規(guī)律的高級智能，未來AI的認(rèn)知能力和應(yīng)用范圍在不斷擴(kuò)展，向更高層次的智能邁進(jìn)。

“邊緣AI方興未艾，未來還會迎來更加蓬勃的發(fā)展。”Chloe展望到。邊緣AI正在從當(dāng)前的“傳感器、網(wǎng)關(guān)和云分析系統(tǒng)”逐步向更智能、更自動化的方向發(fā)展。到2030年，邊緣設(shè)備將具備更強(qiáng)的計(jì)算和處理能力，通過智能傳感器、智能網(wǎng)關(guān)和云端協(xié)同工作，能夠?qū)崿F(xiàn)自動反饋和自我優(yōu)化，并最終實(shí)現(xiàn)更加智能化和自主化的計(jì)算體系。

未來的傳感器將不僅僅是數(shù)據(jù)采集的物理世界窗口，而是增加了AI/ML能力，具備初步的智能處理能力。而網(wǎng)關(guān)的處理能力將進(jìn)一步增強(qiáng)，集成了多核處理器和更強(qiáng)大的NPU，能夠處理更多復(fù)雜的任務(wù)，并進(jìn)行實(shí)時(shí)反饋。智能設(shè)備則能夠與云協(xié)同工作（On Prem + Cloud Analytics），完成更高效的數(shù)據(jù)處理與分析，并通過自然語言處理和基于機(jī)器學(xué)習(xí)的自動反饋機(jī)制，實(shí)現(xiàn)整個(gè)系統(tǒng)的自我調(diào)整和優(yōu)化。

“AI算力的整體水平會有顯著的提高，并且以一種更模塊模塊化的形式呈現(xiàn)給大家?！盋hloe分享到。

Arm以硬件、軟件和生態(tài)合力，賦能所有設(shè)備上的AI創(chuàng)新

Arm在邊緣AI上的創(chuàng)新聚焦在硬件、軟件和生態(tài)三個(gè)維度。硬件是Arm之本。隨著端側(cè)AI推理需求的增長，Arm不僅增強(qiáng)了CPU的矢量和矩陣處理能力，更是推出了一系列的邊緣AI加速器，通過一系列硬件創(chuàng)新滿足更高性能以及更復(fù)雜的AI工作負(fù)載需求。而僅有硬件是不夠的，近年來Arm更是加大在軟件和工具鏈方面的投資，使開發(fā)者可以輕松的釋放AI硬件的巨大的性能潛力。

在IoT、智能網(wǎng)關(guān)、人機(jī)交互、視覺、邊緣服務(wù)器等領(lǐng)域，Arm的Cortex-A系列處理器產(chǎn)品中引入了SVE2的拓展，能夠更高效便利地處理邊緣AI的工作負(fù)載。Arm去年發(fā)布的Cortex-X4、Cortex-A720及Cortex-A520均是基于最新的Armv9.2架構(gòu)，支持可拓展矢量引擎。未來還將更多加入可拓展矩陣引擎支持，助力實(shí)現(xiàn)AI操作中吞吐量的顯著提升。

在嵌入式領(lǐng)域，Arm通過最新的Armv8.1架構(gòu)將A系列中的矢量拓展引入到了M系列中，增強(qiáng)了M系列的信號處理和機(jī)器學(xué)習(xí)能力。Helium技術(shù)可以在信號調(diào)理（Signal Conditioning）過程中提供高達(dá)5倍的信號處理性能提升（特別是在int32格式的CFFT運(yùn)算中）。這意味著在處理復(fù)雜信號時(shí)，使用Helium技術(shù)的處理器能夠更快、更高效地完成任務(wù)。在特征調(diào)理（Feature Conditioning）和決策算法（Decision Algorithm）中，Helium技術(shù)能夠提供高達(dá)15倍的機(jī)器學(xué)習(xí)性能提升（特別是在int8格式的矩陣乘法中）。這表示在機(jī)器學(xué)習(xí)任務(wù)中，處理速度和效率都大幅提高，尤其是在處理大量數(shù)據(jù)和復(fù)雜計(jì)算時(shí)。

而ARM Ethos-U系列處理器在神經(jīng)網(wǎng)絡(luò)性能提升方面的強(qiáng)大能力，能夠助力開發(fā)者解鎖神經(jīng)網(wǎng)絡(luò)的全部潛能。從Ethos-U55到Ethos-U65再到Ethos-U85，MAC單元數(shù)持續(xù)提升的同時(shí)，還增加了對于最新的AI模型架構(gòu)Transformer的支持。通過對矩陣乘法（Matrix Multiplication）和權(quán)重（Weights）的優(yōu)化，Ethos-U85處理器目前可以更高效地執(zhí)行這些復(fù)雜的AI任務(wù)。

不論是在何種體量的計(jì)算系統(tǒng)中，Ethos-U85都能夠發(fā)揮其AI加速計(jì)算的優(yōu)勢。包括Cortex-M系列支持的tinyML和Cortex-A Armv9系統(tǒng)支持的復(fù)雜AI/ML工作負(fù)載中，Ethos-U85能夠通過與不同處理器的結(jié)合，提供廣泛的應(yīng)用場景，從低功耗微控制器到高性能處理器，滿足各種系統(tǒng)的需求。

僅僅以上一系列的處理器和加速期創(chuàng)新是不夠的，Arm通過整合硬件、軟件和虛擬平臺，為IoT設(shè)計(jì)提供了一個(gè)全方位的解決方案。這種方法不僅加速了邊緣AI設(shè)備的開發(fā)和部署，還為開發(fā)者提供了靈活的工具和平臺，以應(yīng)對物聯(lián)網(wǎng)領(lǐng)域不斷變化的需求。

通過IoT參考設(shè)計(jì)（IoT Reference Designs）+ARM和生態(tài)系統(tǒng)的軟件和工具（Arm and Ecosystem Software and Tools）+ARM原型平臺（Arm Prototyping Platforms），ARM旨在幫助企業(yè)快速將邊緣AI設(shè)備推向市場，實(shí)現(xiàn)更高效的物聯(lián)網(wǎng)設(shè)備開發(fā)流程。

結(jié)語

“隨著邊緣AI的持續(xù)發(fā)展，Arm始終處在推動市場和技術(shù)進(jìn)化的核心地位，但是我們不會止步于此?！盋hloe表示，“邊緣AI還會隨著大模型的和生成式AI的崛起而經(jīng)歷革命性的變化，大模型持續(xù)通過量化技術(shù)，現(xiàn)在已經(jīng)可以從幾百例縮減到幾例甚至零點(diǎn)幾例的小模型，適用于在邊緣設(shè)備和終端設(shè)備上部署。小模型與云邊端的結(jié)合，是未來AI產(chǎn)品的重要發(fā)展趨勢，也是人工智能真正能夠賦能千行百業(yè)的重要方向，而我們Arm也會攜手我們的生態(tài)合作伙伴挑戰(zhàn)大模型在邊緣部署的性能和能耗極限。”

據(jù)悉，Arm一直在探索新的商務(wù)模式，以期能夠更好地支持客戶的創(chuàng)新。Arm Flexiable Acess（AFA）是其最新推出的一種創(chuàng)新授權(quán)模式，客戶可以在早期產(chǎn)品開發(fā)和概念驗(yàn)證環(huán)節(jié)進(jìn)行不同IP的試驗(yàn)和測試；在原型設(shè)計(jì)環(huán)節(jié)通過靈活的IP訪問模式來不斷優(yōu)化設(shè)計(jì)并驗(yàn)證功能；直到產(chǎn)品定型之后，才進(jìn)行最終使用的IP支付費(fèi)用，避免了前期大筆投資的風(fēng)險(xiǎn)。

目前全球大概約有90%的AI都運(yùn)行在基于Arm架構(gòu)的CPU上面，而隨著Arm在硬件、軟件和生態(tài)上的合力，以及像AFA這樣的創(chuàng)新授權(quán)模式的開啟，預(yù)計(jì)未來伴隨著端側(cè)AI的爆發(fā)，Arm的開發(fā)者陣營還會持續(xù)擴(kuò)大，Arm也將會借此釋放AI前所未有的規(guī)模潛力。