Arm全新Ethos-U AI加速器及物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)，為軟件開發(fā)者帶來無限可能！

隨著物聯(lián)網(wǎng)設(shè)備的不斷增多，邊緣AI也將迎來爆發(fā)式增長。根據(jù)QYResearch調(diào)研團(tuán)隊(duì)發(fā)布的《全球邊緣AI芯片市場報(bào)告2024-2030》顯示，預(yù)計(jì)2030年，全球邊緣AI芯片市場規(guī)模將達(dá)到81.3億美元，未來幾年年復(fù)合增長率（CAGR）為16.5%。

邊緣AI發(fā)展?jié)摿薮?，有望助力多個(gè)領(lǐng)域的持續(xù)智能化演進(jìn)與轉(zhuǎn)型。但與此同時(shí)，我們也應(yīng)該看到，由于邊緣AI的應(yīng)用場景復(fù)雜多樣，需要具備強(qiáng)大的適應(yīng)性和可靠性，這一趨勢變化也對(duì)芯片設(shè)計(jì)、計(jì)算能力等提出了更高的要求。

在此背景下，Arm推出了Arm^® Ethos?-U85神經(jīng)網(wǎng)絡(luò)處理器（NPU）和Arm Corstone?-320物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)，旨在滿足海量的數(shù)據(jù)處理和大規(guī)模計(jì)算，加速推進(jìn)邊緣AI的發(fā)展進(jìn)程。

（Arm推出新一代Ethos-U AI加速器及全新物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)）

NPU家族再添一員——Arm^® Ethos?-U85

所謂邊緣AI，就是在邊緣計(jì)算環(huán)境中實(shí)現(xiàn)人工智能的一種方法。它允許在生成數(shù)據(jù)的設(shè)備上進(jìn)行計(jì)算，而不是在集中的云計(jì)算設(shè)施或遠(yuǎn)程數(shù)據(jù)中心進(jìn)行計(jì)算。這種本地化處理方式使得設(shè)備能夠在幾毫秒內(nèi)做出決策，而無需互聯(lián)網(wǎng)連接或云服務(wù)。此外，本地化處理計(jì)算還能通過高響應(yīng)時(shí)間，強(qiáng)化用戶體驗(yàn)，并增強(qiáng)隱私數(shù)據(jù)安全的保障。

據(jù)Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬?。–hloe Ma）介紹，Arm Ethos NPU系列是業(yè)界首款A(yù)I加速器，目前英飛凌、恩智浦半導(dǎo)體、奇景光電（Himax）、Alif Semiconductor和Synaptics等領(lǐng)先企業(yè)均已推出了搭載Ethos-U的量產(chǎn)芯片。而此次推出的全新Arm Ethos-U85，與上一代產(chǎn)品相比，不僅為高性能邊緣AI應(yīng)用帶來了4倍的性能提升，以及20%的能效提升，同時(shí)還保持了一致工具鏈，實(shí)現(xiàn)了無縫的開發(fā)者體驗(yàn)。

除此之外，Arm Ethos-U85還支持從128到2048個(gè)MAC單元的配置，在最高性能配置下，可以提供4TOPs的AI算力，非常適用于工廠自動(dòng)化和商用或智能家居攝像頭等需要更高性能的邊緣AI應(yīng)用。

（Arm Ethos-U85提供卓越的神經(jīng)網(wǎng)絡(luò)加速功能）

另外值得一提的是，Arm Ethos-U85還增加了對(duì)Transformer架構(gòu)網(wǎng)絡(luò)的支持，這是優(yōu)化大模型邊緣落地微調(diào)時(shí)間、提升模型泛化的一個(gè)關(guān)鍵特性。

針對(duì)這一關(guān)鍵特性，馬健指出，Arm Ethos-U85不僅僅提供卷積神經(jīng)網(wǎng)絡(luò)（CNN）所需的權(quán)重矩陣乘的運(yùn)算，同時(shí)還支持矩陣相乘，這是Transformer架構(gòu)網(wǎng)絡(luò)的一個(gè)基本組成部分?；赥ransformer的模型具有優(yōu)異的泛化功能，它將更快地驅(qū)動(dòng)新AI應(yīng)用的發(fā)展。

“Transformer在視覺和生成式AI用例中，比如視頻理解、圖文結(jié)合，以及圖像增強(qiáng)與生成、圖像分類和目標(biāo)檢測等方面都極有價(jià)值。Transformer架構(gòu)網(wǎng)絡(luò)的注意力機(jī)制容易利用并行計(jì)算來實(shí)現(xiàn)，提高硬件使用效率，使得這些模型能夠部署在計(jì)算資源有限的邊緣設(shè)備上。開發(fā)者可以通過選用針對(duì)Transformer架構(gòu)網(wǎng)絡(luò)優(yōu)化的設(shè)計(jì)，發(fā)掘邊緣AI的新機(jī)遇，使這些應(yīng)用享有更快的推理、更優(yōu)化的模型性能和可擴(kuò)展性?！瘪R健解釋說。

（Arm Ethos-U85支持Transformer架構(gòu)和卷積神經(jīng)網(wǎng)絡(luò)）

事實(shí)上，Arm Ethos-U85不僅支持低功耗MCU系統(tǒng)中的AI加速，在高性能邊緣計(jì)算系統(tǒng)中，也越來越多地應(yīng)用在處理器、諸如Linux等標(biāo)準(zhǔn)操作系統(tǒng)，以及高級(jí)開發(fā)語言的部署中。這種模式更有利于云原生開發(fā)和云邊端負(fù)載調(diào)度，尤其是在處理數(shù)據(jù)量日益增長的AI應(yīng)用系統(tǒng)中，這一趨勢尤為顯著。

“Arm Ethos-U85能夠很好地支持這些需求，加之我們領(lǐng)先的Armv9 Cortex-A CPU，將為基于應(yīng)用處理器的智能物聯(lián)網(wǎng)平臺(tái)上運(yùn)行的AI任務(wù)實(shí)現(xiàn)加速。這將使Arm Ethos-U85能夠在工業(yè)機(jī)器視覺、邊緣網(wǎng)關(guān)、可穿戴設(shè)備和消費(fèi)類機(jī)器人等應(yīng)用中，帶來高效能的邊緣推理?！瘪R健如是說。

（Arm Ethos-U85為高性能邊緣AI應(yīng)用提供有力的支持）

參考設(shè)計(jì)平臺(tái)再升級(jí)——Arm Corstone?-320

為了簡化系統(tǒng)開發(fā)、加快上市時(shí)間，Arm還推出了全新物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)——Arm Corstone?-320，以加速實(shí)現(xiàn)語音、音頻和視覺系統(tǒng)等邊緣AI應(yīng)用的部署。

據(jù)了解，該平臺(tái)不僅集成了Cortex-M系列最高性能的嵌入式處理器Cortex-M85，以及全新的Ethos-U85 NPU AI加速器，還包含了Arm Mali-C55 ISP。而Arm之所以這樣設(shè)計(jì)，一是引入了針對(duì)實(shí)際工作負(fù)載優(yōu)化加速的設(shè)計(jì)理念，參考用例包括部署在智能家居中的電池供電攝像系統(tǒng)，以及在工業(yè)和零售系統(tǒng)中的低幀率網(wǎng)絡(luò)攝像頭；二是為了提供具有安全保證的軟硬件組合，幫助合作伙伴能夠順利通過PSA Certified Level 2認(rèn)證，實(shí)現(xiàn)對(duì)區(qū)域和全球安全標(biāo)準(zhǔn)的合規(guī)。

Arm堅(jiān)信，通過全新Corstone-320預(yù)先集成、預(yù)先驗(yàn)證的參考設(shè)計(jì)模版，一定能夠幫助合作伙伴減少邊緣智能芯片開發(fā)的成本與時(shí)間。

（Arm助力加速邊緣AI設(shè)備部署進(jìn)程）

“正如之前推出的Arm物聯(lián)網(wǎng)參考設(shè)計(jì)一樣，Arm Corstone-320不僅可以提供芯片計(jì)算子系統(tǒng)IP組合，還附帶了軟件、AI模型庫和開發(fā)工具，以實(shí)現(xiàn)軟件的復(fù)用，并利用了Arm強(qiáng)大的生態(tài)系統(tǒng)?！瘪R健談到Corstone-320時(shí)分享：“它還附帶了仿真Corstone-320完整系統(tǒng)的Arm虛擬硬件，以及單獨(dú)的CPU和NPU的固定虛擬平臺(tái)（FVP）模型，可以簡化開發(fā)并加速產(chǎn)品設(shè)計(jì)，支持軟硬件并行協(xié)同開發(fā)，從而有助于我們的合作伙伴聚焦于打造差異化價(jià)值?！?/span>

對(duì)于任何一款產(chǎn)品而言，只有做到了簡單易用，它才更適于普及推廣，這也是為什么隨著邊緣AI的持續(xù)擴(kuò)展，物聯(lián)網(wǎng)生態(tài)鏈上下游的芯片與系統(tǒng)供應(yīng)商、算法軟件開發(fā)者與集成商們越來越匯聚在Arm計(jì)算平臺(tái)。Arm計(jì)算平臺(tái)致力于為合作伙伴提供AI從云到端、現(xiàn)代敏捷開發(fā)和部署流程中所需的特性與功能，實(shí)現(xiàn)基于量產(chǎn)驗(yàn)證的一致架構(gòu)，并采用統(tǒng)一工具鏈的AI轉(zhuǎn)型。

（基于Arm平臺(tái)的AI軟件生態(tài)系統(tǒng)）

作為一種新型的計(jì)算方式，邊緣AI雖然給系統(tǒng)和芯片設(shè)計(jì)帶來了巨大機(jī)遇，但同時(shí)也帶來了許多挑戰(zhàn)。比如，如何平衡計(jì)算能力與能效、功耗與成本之間的關(guān)系？如何確保數(shù)據(jù)安全和隱私保護(hù)？如何應(yīng)對(duì)邊緣用例五花八門、傳統(tǒng)市場存在碎片化問題？

為了更好地統(tǒng)一多樣化的應(yīng)用要求，達(dá)到規(guī)?；б?，軟件定義和適于軟件移植的標(biāo)準(zhǔn)更是必不可少。Arm在IP、參考設(shè)計(jì)和軟件標(biāo)準(zhǔn)上持續(xù)投入，可以幫助整個(gè)邊緣AI生態(tài)應(yīng)對(duì)這些挑戰(zhàn)。

正如Arm此次推出的新一代Ethos-U85和Corstone-320物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)，不僅可以滿足邊緣AI用例對(duì)更高性能計(jì)算的需求，還為最新的AI模型、框架提供了原生支持，并沿用了Arm軟件與AI開發(fā)者已經(jīng)熟知的工具鏈，具有投資復(fù)用、上手容易等優(yōu)勢。

與此同時(shí)，本次發(fā)布的新產(chǎn)品與參考設(shè)計(jì)加入Arm豐富的IP產(chǎn)品和技術(shù)組合，也使Arm技術(shù)能夠覆蓋更廣泛、多樣化的智能物聯(lián)網(wǎng)應(yīng)用，并滿足最新邊緣AI市場的性能、成本和能效需求。

據(jù)悉，目前全球范圍內(nèi)Arm已有超過1000個(gè)生態(tài)系統(tǒng)合作伙伴以及1500 萬名Arm生態(tài)開發(fā)者。憑借廣泛的軟件支持和工具，Arm簡化了開發(fā)流程，從而助力市場輕松擴(kuò)展邊緣AI的部署。

（Arm技術(shù)正在構(gòu)建邊緣AI的未來）

在技術(shù)革新的道路上，Arm永不止步

“我們已經(jīng)看到，生態(tài)系統(tǒng)中的開發(fā)者在樹莓派設(shè)備上評(píng)估運(yùn)行包括LLaMA等在內(nèi)的大模型，邊緣部署大模型和生成式AI用例指日可待。為此，我們已經(jīng)做好了準(zhǔn)備來挑戰(zhàn)物聯(lián)網(wǎng)與大模型、多模態(tài)AI結(jié)合的性能與效率極限?！瘪R健表示，AI的普及、大模型和生成式AI的迅猛發(fā)展，為Arm物聯(lián)網(wǎng)生態(tài)系統(tǒng)的伙伴們帶來了前所未有的發(fā)展機(jī)遇。憑借Arm豐富的經(jīng)驗(yàn)和領(lǐng)先的技術(shù)廣度，能夠最有力地支持合作伙伴們擁抱邊緣AI機(jī)遇。

可以預(yù)見，隨著全新Ethos-U85和Corstone-320的登場及 Arm 在技術(shù)、生態(tài)中的不斷投入，未來Arm無疑將成為全球最普遍的AI計(jì)算平臺(tái)之一。屆時(shí)，越來越多的開發(fā)者和軟件廠商將加入到這一生態(tài)系統(tǒng)中，共同推動(dòng)邊緣AI的創(chuàng)新和發(fā)展。