混合關鍵系統助力工業(yè)智能系統蓬勃發(fā)展——“第五屆國產嵌入式操作系統技術與產業(yè)發(fā)展論壇”圓滿結束
嵌入式人工智能快速發(fā)展,對于高性能計算需求越來越大。為了應對日益復雜和不確定的外部環(huán)境,國產嵌入式智能系統更離不開兼顧強實時和高算力的異構多核國產智能芯片和國產基礎軟件。工業(yè)智能系統對基于智能芯片上的混合關鍵系統的需求尤為強勁。
混合關鍵性系統是嵌入式系統未來技術演進的重要方向之一,目前在自主駕駛、服務機器人、汽車電子等領域已經看到一些典型應用,在工業(yè)和國防等領域呈現出積極發(fā)展態(tài)勢。
為此,北京航空航天大學計算機學院、北京航空航天大學軟件學院、北京航空航天大學杭州創(chuàng)新研究院、中國電子技術標準化研究院物聯網研究中心、嵌入式系統聯誼會、《單片機與嵌入式系統應用》雜志社,舉辦了“第五屆國產嵌入式操作系統技術與產業(yè)發(fā)展論壇暨嵌入式系統聯誼會主題討論會(總第29次)”。本屆論壇聚焦“面向異構多核智能芯片的混合關鍵系統研究與應用”這一會議主題。主辦方邀請到來自華東師大、湖南大學、中山大學、復旦大學和北京航空航天大學等高校的學者,以及來自嘉楠科技、賽昉科技、華為和睿賽德電子等知名企業(yè)專家參與論壇主題演講和嘉賓討論,研討異構多核智能芯片和混合關鍵系統等熱點議題。本次論壇由北航軟件學院院長胡春明致開幕詞,上午會議由嵌入式系統聯誼會秘書長何小慶主持,下午會議由北京航空航天大學計算機學院牛建偉教授主持。
論壇上午主題:嵌入式異構多核智能芯片產業(yè)發(fā)展
嘉楠K230異構多核AIOT芯片架構探索和應用
嘉楠科技軟件部架構設計經理 胡鍇
嘉楠科技是一家深耕AI邊緣側應用的公司,胡鍇在報告中重點介紹了2023年公司新推出的一顆AI芯片K230,其應用場景主要有門鎖、貓眼、詞典筆、IPC等。胡鍇表示,在芯片開發(fā)之前,公司對這些應用場景的特性就已經做過分析,并將這些共性-小核系統負責Linux生態(tài),運行網絡/存儲/GUI和其他控制類業(yè)務;大核系統負責快速啟動,運行多媒體(音視頻及AI類)業(yè)務;低功耗系統負責待機低功耗,監(jiān)控喚醒源,以及控制normal域電源融入芯片的開發(fā)理念,因此K230內集成了分工明確的雙核CPU,并且外圍設置了高速、低速和安全接口。
胡鍇詳細介紹了K230硬件各個部分的具體功能和軟件架構,以及大小核之間是如何進行通信的,并且還詳細介紹了處理大小核之間棘手的互斥問題的解決方案。
高性能RISC-V多核計算平臺
上海賽昉科技資深銷售總監(jiān) 周杰
賽昉科技主要從事高性能應用場景下的RISC-V IP和芯片研發(fā),以及和底層軟件解決方案,可以提供支持多核的一致性NOC總線的整體解決方案,并實現在自研芯片中,為RISC-V芯片進入高性能場景提供全國產化的硬件核心技術。
周杰介紹,RISC-V機構相較于其他內核架構,具有商業(yè)上的自由和技術上的自由,因此采用其架構的廠商具有了創(chuàng)新的自由,而且適用于所有的計算系統。目前,大部分應用在物聯網落地(嵌入式場景全球出貨累計100億顆),并且已經開始向高性能、多核或眾核的計算領域滲透(預測2025年突破800億顆)。賽昉科技成立5年,共推出了4個系列全自研產品—昉﹒天樞(RISC-VCPUIP)、昉﹒星鏈(Interconnect IP)、昉﹒驚鴻7110(芯片)和昉﹒星光2(單板計算機),周杰詳細介紹了這些產品的特點和應用。周杰尤其跟大家分享了賽昉推出的在RISC-V領域的第一個真正意義上的大小核異構IP子系統平臺,其最多可支持8個核的CPU系統,并且除了支持CPU的一致性,還可以支持I/O的一致性,此平臺將會在驚鴻8100上做驗證。
面向混合關鍵部署的嵌入式RTOS虛擬化技術
湖南大學教授、嵌入式與網絡計算湖南省重點實驗室主任 謝國琪
隨著嵌入式設備性能的提升,當前復雜嵌入式開發(fā)存在富功能(數據可視化、場景可視化)與硬實時(精準控制)的雙重需求,而基于操作系統虛擬化技術的混合關鍵部署是實現上述雙重需求的方案之一。謝老師詳細介紹了Zephyr RTOS,這是一款Linux基金會下的開源實時操作系統,支持超過13種硬件架構,是一個產品級應用,發(fā)布了40個release版本,具有良好的實時性和安全性,支持多種嵌入式場景下的物聯網協議。謝老師認為Zephyr既可以是一個宏內核,也可以是一個微內核,這取決于客戶在應用中的配置。
謝老師所在團隊主要在以下幾方面做了工作:Zephyr適配RK3568、Paddle Lite2.6適配Zephyr3.4、嵌入式實時虛擬機ZVM(Zephyr-based Virtual Machine)開發(fā)。ZVM是由湖南大學嵌入式計算省重點實驗室設計并開發(fā)的虛擬化軟件,該軟件基于實時操作系統Zephyr開發(fā),可同時啟動Linux與Zephyr這2個Guest OS,從而在同一硬件平臺上實現混合內核部署。謝老師還詳細介紹了基于ARM64與Zephyr RTOS的ZVM關鍵核心技術實現與開發(fā)規(guī)劃。
智能嵌入式系統軟硬件優(yōu)化配置方法
華東師范大學軟件工程學院教授 陳儀香
智能嵌入式系統是將人工智能技術融入到嵌入式系統中,實現諸如識別、判斷、推理、決策等智能功能。陳老師介紹,智能嵌入式系統除完成其功能外還需要實現其性能,如時間性能,規(guī)定必須完成其功能的時間是3s還是3ms。另外,嵌入式系統是將嵌入式軟件復制到特定的芯片上運行,但芯片有面積大小等限制,而實現智能的軟件本身又非常復雜甚至龐大。因而在特定芯片上實現智能功能和性能需要進行軟硬件優(yōu)化配置,分配和調度哪些任務由軟件實現(即CPU實現),哪些任務由硬件實現(即IP核和FPGA上實現),通常情況下,軟件實現慢但成本低,而硬件實現快但成本高,如何在一定約束條件下(如時間約束、硬件面積約束、產品成本約束)科學地配置軟硬件資源實現智能嵌入式系統的性能優(yōu)化,這是一個值得研究和實踐的問題。
陳老師分享了團隊十年來的一些研究成果,首先引進硬件實現(時間)增益概念,在此基礎上分別設計了基于遺傳算法的智能嵌入式系統多核調度算法;同時,以基于卷積神經網絡的交通標識識別系統為例,介紹了在Xilinx公司開發(fā)的ZYNQ-7020可擴展處理器芯片上實現該交通標識識別系統。
智能工業(yè)機器人操作系統及應用探索
北航長聘教授、科技部重點研發(fā)計劃首席專家 牛建偉
國外工業(yè)機器人操作系統相對成熟,在穩(wěn)定性、實時性和控制精度方面處于領先地位,但存在各自為政、互不兼容的局面。近幾年,國內工業(yè)機器人發(fā)展迅猛,但依然面臨諸多挑戰(zhàn)。牛老師首先從機器人操作系統發(fā)展及背景介紹了研發(fā)一套自主可控、實時性強的智能機器人操作系統對于我國機器人產業(yè)發(fā)展的重要意義。
接下來,牛老師詳細分析了機器人為什么需要異構多核智能系統,原因有三點:提升基礎算力,構建復雜應用;解決“智能”與“實時”的沖突問題;實現高集成度。異構多核智能系統發(fā)展中同時面臨以下挑戰(zhàn):操作系統體系架構升級、穩(wěn)定可靠的國產智能芯片、多核調度實時性保障技術、機器人智能算法庫、深度學習編譯框架、操作系統內生安全技術。然后,牛老師介紹了其團隊在機器人智能操作系統的構建和應用方面所做的工作。最后,對下一代機器人操作系統進行了展望,要具有高實時性、高可靠性、高安全性、開放性、智能化、跨平臺、組件化。牛教授認為,既輕量化又智能化是機器人未來的發(fā)展方向。
論壇下午主題:混合關鍵系統的操作系統技術與應用
面向自動駕駛的安全關鍵系統資源管理與調度技術研究
中山大學教授、人工智能與無人系統研究所所長 黃凱
自動駕駛的實現要求在有限的車載計算資源上部署復雜的傳感器數據處理和駕駛決策,并滿足駕駛系統的可靠性和穩(wěn)定性。黃老師團隊重點關注自動駕駛領域的系統資源設計、管理與調度問題。
黃老師認為自動駕駛面臨兩方面挑戰(zhàn):一是可靠性問題,安全對于汽車應用,是首先要考慮的因素,如果安全事故常有發(fā)生,那么圍繞自動駕駛系統的訴訟和糾紛難以徹底理清;二是成本問題,高性能自動駕駛需要車載大量高精度傳感器和配套的實時計算系統,但是車廠其實對成本非常敏感,這也為自動駕駛產品的商業(yè)化和大眾化設置了非常高的經濟門檻。
報告中,黃老師從以下3個方面進行了討論:首先,探討如何優(yōu)化關鍵系統的冗余設計以提高系統的穩(wěn)定性和魯棒性;其次,探索如何優(yōu)化計算資源的在線調度以緩解復雜場景中的系統服務退化并提高資源使用效率;最后,對安全關鍵系統在自動駕駛領域的應用進行了展望。
RT-Thread在工業(yè)領域的混合部署實踐
睿賽德科技聯合創(chuàng)始人 邱祎
睿賽德是RT-Thread開源操作系統的貢獻者和維護者,公司產品目前有兩個方向:開源RT-Thread操作系統和針對安全關鍵領域的RT-Thread高安全實時操作系統專業(yè)版。邱祎介紹,RT-Thread是可以運行在低端MCU、中高端MCU、MPU、高性能MPU/SoC、眾核異構SoC上的全棧計算平臺,生態(tài)完善、適配范圍廣。
接下來,邱祎詳細介紹了基于RT-Thread的混合部署方案,包括RT-Thread Fusion和vmRT-Thread Hyperviser。RT-Thread Fusion是基于OpenAMP的多OS混合部署方案,適用于多核異構處理器和多核同構處理器。邱祎認為,同時具備ARM核和RISC-V核的芯片正在逐步出現,因此OpenAMP是搭建起異構系統間軟通信的一座橋梁,會讓Cortex-A+Cortex-M/R或RISC-V處理器在使用上更便利,甚至感受不到異構的存在,可以在多系統間融合。vmRT-Thread Hyperviser是一個不同安全等級、實時性要求及用戶體驗與運算能力的集成平臺,可以用于存儲虛擬化、網絡虛擬化、安全顯示、圖形虛擬化和虛擬機間通信,適合于智能座艙、智能駕駛、智能網關等應用場景。邱祎表示兩種方案都可以實現RT-Thread+Linux在同一顆SoC芯片上的混合部署運行。
操作系統內生安全技術與應用
復旦大學大數據研究院高級工程師 蔣金虎
隨著智能嵌入式設備日益廣泛應用和聯網互通,安全問題愈發(fā)凸顯,尤其是系統安全。蔣老師認為,操作系統的內生安全是必不可少的一環(huán)。報告中,蔣老師詳細介紹了內生安全的多內核操作系統設計,其通過構造內核級動態(tài)異構冗余實現擬態(tài)安全,能有效抵御功能故障和網絡攻擊。此架構可同時運行多個內核,內核可具備同構或異構屬性,內核間通過共識機制協同工作,因此具有冗余性、異構性和動態(tài)性,蔣老師對這3種特性進行了詳細講解。
為了讓聽眾知其然且知其所以然,蔣老師還從功能安全和網絡安全原理及機制兩方面詳細介紹了多內核操作系統內生安全原理。最后以星載系統為例,介紹了內生安全的多內核操作系統的具體應用。
實時內核UniProton及其混合關鍵性部署的實踐
華為嵌入式實時操作系統領域專家 余德釗
余德釗從運動控制系統和全球嵌入式OS實際情況出發(fā),介紹了華為開發(fā)openEuler Embedded的背景:2019年發(fā)布第一個版本,經過幾年發(fā)展,目前已經成為一個面向全場景的開源社區(qū),在云計算、服務器和嵌入式領域都有應用。openEuler Embedded是將openEuler與嵌入式應用場景融合的一個以Linux為中心的綜合嵌入式系統軟件平臺,其適用于任何需要Linux的嵌入式系統。余德釗介紹的UniProton是一款硬實時操作系統,具備極致的us級低時延和靈活的混合關鍵性部署特性,可以高效地與以openEuler Embedded為代表的通用OS混合部署,適用于工業(yè)控制場景,既能支持微控制器MCU,也支持算力強的多核CPU。
余德釗表示,多OS混合部署要解決如下幾個問題:多OS統一構建、高效的基礎通信機制、提供服務化部署。華為針對這些問題也做了很多工作,現在openEuler Embedded能夠接納不同的RTOS,更好地幫助基礎設施進行改造。
基于新型編程語言設計實現操作系統內核
清華大學計算機系長聘副教授 陳渝
陳老師指出操作系統是具有戰(zhàn)略意義的關鍵信息系統的核心基礎設施,陳老師研究操作系統多年,技術上側重于操作系統的安全性,應用領域聚焦于汽車應用。作為CSAE-CCF-CICV車用操作系統與泛在操作系統聯合實驗室首席科學家的陳渝認為,目前操作系統大部分是采用C語言開發(fā)的,但是這么多年過去,C語言在開發(fā)操作系統應用中的弊端正逐漸顯現,很多典型漏洞都是因為C語言,因此不斷有新的編程語言嘗試重構操作系統,比如Ocaml、C#、Go、Rust等,而安全是新一代編程語言試圖代替C語言的重要因素。
近幾年,陳老師一直致力于研究Rust語言,提出了基于Rust的可擴展操作系統安全架構,與現有的OS相比,能夠提供更多層次的安全保障能力,為構建自主可控IT生態(tài)奠定OS基礎。這個操作系統在設計時,細化了內核模塊屬性,形成單向依賴、獨立存在的內核模塊,因此具有以下特點:與OS無關的語言級核心庫、獨立OS的組件庫、耦合OS的組件庫、掛接組件的內核主干、獨立OS的組件庫無緊耦合依賴關系、基于配置和靜態(tài)分析進行架構優(yōu)化。最后,陳老師進一步分析了如何用Rust編程語言設計可靈活組合的組件化操作系統內核,并對研究計劃和產業(yè)落地情況做了介紹。
討論環(huán)節(jié):思想碰撞,精彩紛呈
在討論環(huán)節(jié),主辦方邀請到北航軟件學院院長胡春明、華元創(chuàng)信高端裝備系統部長黃河、科東軟件研發(fā)副總經理殷燦菊、中科院沈陽自動化所副研究員張華良,嘉賓針對混合關鍵系統的工業(yè)應用以及參會者關心的研發(fā)混合關鍵系統的主要瓶頸和應用前景等問題進行了熱烈的探討,為國產嵌入式操作系統的發(fā)展獻計獻策。
華元創(chuàng)信、嵌入式與網絡計算湖南省重點實驗室(湖南大學)、麥克泰技術、嘉楠科技和北航杭州創(chuàng)新研究院等單位在會場展示他們的技術成果和產品,《單片機與嵌入式系統應用》雜志社、北航出版社、睿賽德科技、科東軟件以及陳儀香和何小慶老師在會場展示了他們最新的圖書、雜志和產品資料,供聽眾近距離交流。
嵌入式系統聯誼會是為嵌入式系統不同學科領域專家、學者、工程技術和媒體人士提供技術與產業(yè)信息交流的科技沙龍性質的機構。嵌入式系統聯誼會定期組織學術交流、技術研討和產業(yè)趨勢等線下和線上會議,并積極參與行業(yè)科技交流活動。