當前,開發(fā)者正在利用安全且性能增強的技術實現(xiàn)小型低功耗嵌入式系統(tǒng)的開發(fā),賦能過往無法想象的語音、視覺和振動等AI應用,而這些應用正在改變著世界。
嵌入式領域正經歷一場深刻的變革。連接設備正逐漸演變?yōu)榭筛鶕占臄?shù)據自行做出決策的系統(tǒng)。相較于在物聯(lián)網網關或云端進行數(shù)據處理而言,在更接近采集源之處完成數(shù)據處理的方式,將有望加快決策速度、減少延遲、解決數(shù)據隱私問題、降低成本并提高能效。
很多應用領域都在推升邊緣計算在性能和功能方面的需求,諸如工業(yè)自動化、機器人、智慧城市和家居自動化等。在過去,這類系統(tǒng)中的傳感器要簡單得多且互不相連,然而,現(xiàn)在人工智能(AI)和機器學習(ML)提升了本地智能化水平,在端側即可完成決策的制定,這在過去使用的簡單控制算法是無法實現(xiàn)的。
AI時代通用處理器的演進
多年以前,開發(fā)者專注于把邏輯和控制算法作為軟件開發(fā)的核心,然而,隨著數(shù)字信號處理(DSP)算法的出現(xiàn),為諸多功能增強的語音、視覺和音頻應用提供了支持。
這種應用開發(fā)的轉變進入到了全新時代,且正在影響計算架構的設計。我們現(xiàn)已發(fā)展到以推理作為算法開發(fā)的主要核心,這一階段帶來了對計算性能、能效、延遲、實時處理和可擴展性等方面新的或更高的要求。
行業(yè)的需求不僅在新處理器加速器方面,也包括通用處理能力的提升,以便能為開發(fā)者提供必要的平衡,并支持直播視頻中的特征檢查或人物檢測等應用。
幾年前,開發(fā)者在創(chuàng)建噪聲消除應用時還只能依賴基于頻率的濾波器。而如今,開發(fā)者可以通過將濾波與ML/AI模型和推理相結合來提高應用的性能和功能。為了使這些開發(fā)任務更加高效,并盡可能無縫地為用戶服務,對處理器和工具的需求也與日俱增。
促進邊緣側和端側設備的智能化
這項演進與革新是由ML所驅動,但同時也面臨著諸多技術的挑戰(zhàn)。經過多年的嘗試,試圖打造一套普適于物聯(lián)網及嵌入式設備的開發(fā)方法,已促使著行業(yè)轉變物聯(lián)網開發(fā)的方式,以釋放規(guī)模化擴展的無限可能性。
當前,開發(fā)者正在利用安全且性能增強的技術實現(xiàn)小型低功耗嵌入式系統(tǒng)的開發(fā),賦能過往無法想象的語音、視覺和振動等應用,而這些應用正在改變著世界。各種版本的編程語言和Transformer模型將很快在具有全新計算功能的物聯(lián)網邊緣設備中占據一席之地。這無疑為開發(fā)者帶來夢寐以求的更多可能性。
在開發(fā)演進與革新的過程中,為了滿足開發(fā)者對硬件的需求,幾年前Arm在Armv8.1-M架構中引入了Arm® Helium?矢量處理技術。Helium為小型低功耗嵌入式設備的ML和DSP應用帶來了顯著的性能提升。此外,它還提供單指令多數(shù)據(SIMD)功能,由此將Arm Cortex®-M設備的性能提升到全新水平,并支持預測性維護和環(huán)境監(jiān)控等應用。
Helium提高了DSP和ML性能,加快了信號調節(jié)(例如濾波、噪聲消除和回聲消除)和特征提?。ㄒ纛l或像素數(shù)據)的速度,繼而能將之傳輸?shù)讲捎蒙窠浘W絡處理器的分類中。
實現(xiàn)智能邊緣側的功能
我們可以看到,很多Arm的合作伙伴都在他們最新的產品中引入了Helium技術,由此助力開發(fā)者在網絡最遠端的受限設備上發(fā)揮ML功能的優(yōu)勢。2020年2月,Arm推出了采用Helium技術的Cortex-M55處理器,Alif Semiconductor于2021年9月推出了首款基于Cortex-M55的芯片,并在其Ensemble和Crescendo產品系列中部署了搭載Helium的Cortex-M55處理器。此外,奇景光電(Himax)也采用了配備Helium的Cortex-M55于其下一代WE2 AI處理器,并以由電池供電的物聯(lián)網設備中的計算機視覺系統(tǒng)為目標應用領域。
2022年4月,Arm推出了第二款支持Helium的CPU——Arm Cortex-M85。瑞薩電子在embedded world 2022和embedded world 2023上曾就Cortex-M85進行過技術演示。演示中,Plumerai通過瑞薩電子RA MCU技術大大加快了其推理引擎速度。作為一家開發(fā)基于攝像頭實現(xiàn)人物檢測的完整軟件解決方案的公司,Plumerai相信,性能的提升將確保該公司的客戶可充分利用更龐大、更準確的Plumerai人物檢測AI版本,同時提供更多的產品功能并延長電池續(xù)航時間。2023年11月,Arm推出了第三款采用Helium技術的CPU——Cortex-M52,這是一款專為人工智能物聯(lián)網(AIoT)應用而設計的處理器,可為小型低功耗嵌入式設備的DSP和ML應用帶來顯著的性能提升,無需專用NPU即可在端點中部署更多計算密集型ML推理算法。
隨著硬件的發(fā)展,開發(fā)者所面臨的軟件復雜性也日益增加,因而需要新的開發(fā)流程來創(chuàng)建結合高效設備驅動程序的優(yōu)化ML模型。為生態(tài)系統(tǒng)提供的軟件開發(fā)平臺和工具也必須緊跟硬件而演進,這一點至關重要。
如今由Arm和第三方提供的多種工具可用于支持終端用戶創(chuàng)建AI算法。數(shù)據科學家在離線環(huán)境中創(chuàng)建好模型后,即可使用相應的工具來優(yōu)化模型,以便在基于Arm Ethos?-U的NPU上運行模型,或在基于Cortex-M的處理器上使用Helium指令。
Qeexo是第一家為邊緣設備實現(xiàn)端到端ML自動化的公司,其AutoML平臺提供了直觀的用戶界面(UI),允許用戶對傳感器數(shù)據進行收集、清理和可視化呈現(xiàn),并使用不同的算法來自動構建ML模型。Keil微控制器開發(fā)套件(Keil MDK)等傳統(tǒng)嵌入式工具是對MLOps工具的有益補充,并有助于建立用于驗證復雜軟件工作負載的DevOps流程。由此,嵌入式、物聯(lián)網和AI應用程序最終匯聚于軟件開發(fā)者都熟知的單一開發(fā)流程中。
邊緣的潛能正在逐步被發(fā)掘。當前對提升微控制器性能的需求還在不斷增長,特別是諸如聲控門鎖、人物檢測識別、帶有預測性維護的聯(lián)網電機控制,以及數(shù)不勝數(shù)的其他高端AI和ML應用等任務。
我們相信,在正確技術的加持下,開發(fā)者可以重新構想邊緣和端側設備,并在性能、成本、能效與隱私等這些受限設備中的關鍵要素之間取得適當平衡,讓未來的嵌入式開發(fā)實現(xiàn)AI計算的應用。