從GenAI到PhyAI，大模型時代邊緣智能的新思考與新范式

Netflix花了10年時間達到1億用戶，Twitter用了5年，Instagram達成這一里程碑用了2.5年，TikTok則縮短到9個月。然而，OpenAI的ChatGPT僅用了2個月就突破了1億用戶大關。這一趨勢表明，隨著時間的推移，科技尤其是人工智能的普及速度顯著加快，AI應用的用戶增長速度遠遠超過了傳統(tǒng)的社交媒體和流媒體平臺。

“現(xiàn)在AI已經(jīng)可以在云端部署，寫詩、作畫、聊天、客服、視頻生成，但是 AI在邊緣落地的速度也是非常驚人的?！盇rm物聯(lián)網(wǎng)事業(yè)部業(yè)務拓展副總裁Chloe Ma（馬?。┰谏钲趪H電子展的Kaifa Gala活動上講到，“我們正在迎來AI的‘iphone’時刻。”

從GenAI到PhyAI，邊緣AI即將迎來爆發(fā)

當前正處在AI計算的普及初期，AI基礎設施的部署都是以云和數(shù)據(jù)中心為主。但AI模型和計算芯片技術的突破，以及來自應用層面的實時響應成本、用戶體驗和安全隱私的訴求，都讓AI算力迅速“撲“到了邊緣設備上。

AI PC、AI手機和AI汽車等新的產(chǎn)品形態(tài)出不窮，通過AI加持的CPU、GPU和NPU能夠實現(xiàn)對于小型語言模型在邊緣設備上的本地支持。而多模態(tài)大模型也將在自動駕駛、具身智能、黑燈工廠和智能家居中樞等新的計算場景中實現(xiàn)賦能，未來的這些智能中樞能夠匯集多模態(tài)的輸入，以全自動的方式為我們提供服務。

而要實現(xiàn)這樣的愿景，需要是一個從GenAI到PyhAI的轉化，而要實現(xiàn)這一轉化包含了多模態(tài)性（Multimodality）、端到端（End-to-End）和三維空間和物理理解（3D Spatial and Physics Understanding）三部分。

首先是多模態(tài)性（Multimodality），這意味著GenAI可以處理和生成多種形式的數(shù)據(jù)，包括文本、圖像、聲音、視頻和數(shù)據(jù)等，增強了其理解和生成能力。接著是端到端（End-to-End）的發(fā)展，從大型語言模型（LLMs）進化到多模態(tài)大型語言模型（MLLMs），使其不僅能夠處理單一模態(tài)數(shù)據(jù)，還具備了處理多模態(tài)數(shù)據(jù)的能力，實現(xiàn)了端到端的全流程處理。最后是三維空間和物理理解（3D Spatial and Physics Understanding），這一階段的AI具備了理解和模擬三維空間及物理現(xiàn)象的能力，朝著更接近物理世界的智能方向邁進。

從單一模態(tài)數(shù)據(jù)處理，逐步發(fā)展到多模態(tài)數(shù)據(jù)處理，最終演化出理解物理空間和物理規(guī)律的高級智能，未來AI的認知能力和應用范圍在不斷擴展，向更高層次的智能邁進。

“邊緣AI方興未艾，未來還會迎來更加蓬勃的發(fā)展?！盋hloe展望到。邊緣AI正在從當前的“傳感器、網(wǎng)關和云分析系統(tǒng)”逐步向更智能、更自動化的方向發(fā)展。到2030年，邊緣設備將具備更強的計算和處理能力，通過智能傳感器、智能網(wǎng)關和云端協(xié)同工作，能夠實現(xiàn)自動反饋和自我優(yōu)化，并最終實現(xiàn)更加智能化和自主化的計算體系。

未來的傳感器將不僅僅是數(shù)據(jù)采集的物理世界窗口，而是增加了AI/ML能力，具備初步的智能處理能力。而網(wǎng)關的處理能力將進一步增強，集成了多核處理器和更強大的NPU，能夠處理更多復雜的任務，并進行實時反饋。智能設備則能夠與云協(xié)同工作（On Prem + Cloud Analytics），完成更高效的數(shù)據(jù)處理與分析，并通過自然語言處理和基于機器學習的自動反饋機制，實現(xiàn)整個系統(tǒng)的自我調整和優(yōu)化。

“AI算力的整體水平會有顯著的提高，并且以一種更模塊模塊化的形式呈現(xiàn)給大家?！盋hloe分享到。

Arm以硬件、軟件和生態(tài)合力，賦能所有設備上的AI創(chuàng)新

Arm在邊緣AI上的創(chuàng)新聚焦在硬件、軟件和生態(tài)三個維度。硬件是Arm之本。隨著端側AI推理需求的增長，Arm不僅增強了CPU的矢量和矩陣處理能力，更是推出了一系列的邊緣AI加速器，通過一系列硬件創(chuàng)新滿足更高性能以及更復雜的AI工作負載需求。而僅有硬件是不夠的，近年來Arm更是加大在軟件和工具鏈方面的投資，使開發(fā)者可以輕松的釋放AI硬件的巨大的性能潛力。

在IoT、智能網(wǎng)關、人機交互、視覺、邊緣服務器等領域，Arm的Cortex-A系列處理器產(chǎn)品中引入了SVE2的拓展，能夠更高效便利地處理邊緣AI的工作負載。Arm去年發(fā)布的Cortex-X4、Cortex-A720及Cortex-A520均是基于最新的Armv9.2架構，支持可拓展矢量引擎。未來還將更多加入可拓展矩陣引擎支持，助力實現(xiàn)AI操作中吞吐量的顯著提升。

在嵌入式領域，Arm通過最新的Armv8.1架構將A系列中的矢量拓展引入到了M系列中，增強了M系列的信號處理和機器學習能力。Helium技術可以在信號調理（Signal Conditioning）過程中提供高達5倍的信號處理性能提升（特別是在int32格式的CFFT運算中）。這意味著在處理復雜信號時，使用Helium技術的處理器能夠更快、更高效地完成任務。在特征調理（Feature Conditioning）和決策算法（Decision Algorithm）中，Helium技術能夠提供高達15倍的機器學習性能提升（特別是在int8格式的矩陣乘法中）。這表示在機器學習任務中，處理速度和效率都大幅提高，尤其是在處理大量數(shù)據(jù)和復雜計算時。

而ARM Ethos-U系列處理器在神經(jīng)網(wǎng)絡性能提升方面的強大能力，能夠助力開發(fā)者解鎖神經(jīng)網(wǎng)絡的全部潛能。從Ethos-U55到Ethos-U65再到Ethos-U85，MAC單元數(shù)持續(xù)提升的同時，還增加了對于最新的AI模型架構Transformer的支持。通過對矩陣乘法（Matrix Multiplication）和權重（Weights）的優(yōu)化，Ethos-U85處理器目前可以更高效地執(zhí)行這些復雜的AI任務。

不論是在何種體量的計算系統(tǒng)中，Ethos-U85都能夠發(fā)揮其AI加速計算的優(yōu)勢。包括Cortex-M系列支持的tinyML和Cortex-A Armv9系統(tǒng)支持的復雜AI/ML工作負載中，Ethos-U85能夠通過與不同處理器的結合，提供廣泛的應用場景，從低功耗微控制器到高性能處理器，滿足各種系統(tǒng)的需求。

僅僅以上一系列的處理器和加速期創(chuàng)新是不夠的，Arm通過整合硬件、軟件和虛擬平臺，為IoT設計提供了一個全方位的解決方案。這種方法不僅加速了邊緣AI設備的開發(fā)和部署，還為開發(fā)者提供了靈活的工具和平臺，以應對物聯(lián)網(wǎng)領域不斷變化的需求。

通過IoT參考設計（IoT Reference Designs）+ARM和生態(tài)系統(tǒng)的軟件和工具（Arm and Ecosystem Software and Tools）+ARM原型平臺（Arm Prototyping Platforms），ARM旨在幫助企業(yè)快速將邊緣AI設備推向市場，實現(xiàn)更高效的物聯(lián)網(wǎng)設備開發(fā)流程。

結語

“隨著邊緣AI的持續(xù)發(fā)展，Arm始終處在推動市場和技術進化的核心地位，但是我們不會止步于此?！盋hloe表示，“邊緣AI還會隨著大模型的和生成式AI的崛起而經(jīng)歷革命性的變化，大模型持續(xù)通過量化技術，現(xiàn)在已經(jīng)可以從幾百例縮減到幾例甚至零點幾例的小模型，適用于在邊緣設備和終端設備上部署。小模型與云邊端的結合，是未來AI產(chǎn)品的重要發(fā)展趨勢，也是人工智能真正能夠賦能千行百業(yè)的重要方向，而我們Arm也會攜手我們的生態(tài)合作伙伴挑戰(zhàn)大模型在邊緣部署的性能和能耗極限。”

據(jù)悉，Arm一直在探索新的商務模式，以期能夠更好地支持客戶的創(chuàng)新。Arm Flexiable Acess（AFA）是其最新推出的一種創(chuàng)新授權模式，客戶可以在早期產(chǎn)品開發(fā)和概念驗證環(huán)節(jié)進行不同IP的試驗和測試；在原型設計環(huán)節(jié)通過靈活的IP訪問模式來不斷優(yōu)化設計并驗證功能；直到產(chǎn)品定型之后，才進行最終使用的IP支付費用，避免了前期大筆投資的風險。

目前全球大概約有90%的AI都運行在基于Arm架構的CPU上面，而隨著Arm在硬件、軟件和生態(tài)上的合力，以及像AFA這樣的創(chuàng)新授權模式的開啟，預計未來伴隨著端側AI的爆發(fā)，Arm的開發(fā)者陣營還會持續(xù)擴大，Arm也將會借此釋放AI前所未有的規(guī)模潛力。