ISP+可拓展算力組合，飛凌微實(shí)現(xiàn)圖像傳感器與SoC之間更好的融合

當(dāng)前端側(cè)AI正在快速落地推進(jìn)，而智能車載領(lǐng)域尤為活躍，特別是在國內(nèi)市場，智能車載的快速發(fā)展引人注目。據(jù)Yole預(yù)測，2023年至2029年，全球車載攝像頭市場規(guī)模將從57億美元增至84億美元。但目前車載視覺系統(tǒng)方案尚未統(tǒng)一，既有大域控制架構(gòu)的探索，也有分布式架構(gòu)的應(yīng)用。而在分布式架構(gòu)的應(yīng)用場景中，面臨的主要挑戰(zhàn)在于如何更好地融合圖像傳感器與SoC，以實(shí)現(xiàn)性能與成本的最佳平衡。此外，在技術(shù)層面，需要通過更先進(jìn)的平臺工具和AI加速技術(shù)，結(jié)合圖像性能優(yōu)化手段，推動技術(shù)的迭代與升級。

作為思特威的子品牌——飛凌微已經(jīng)敏銳捕捉到了這一市場契機(jī)，在結(jié)合思特威的優(yōu)勢圖像傳感器的技術(shù)積累上，為業(yè)界帶來了高性能ISP、輕算力視覺處理SoC芯片和高算力視覺處理SoC芯片三款產(chǎn)品，旨在通過ISP+可拓展算力組合，為客戶實(shí)現(xiàn)圖像傳感器與SoC之間更好的融合。

在近日召開的E維智庫第12屆中國硬科技產(chǎn)業(yè)鏈創(chuàng)新趨勢峰會暨百家媒體論壇上，飛凌微首席執(zhí)行官、思特威副總裁邵科帶來了題為《新一代端側(cè)SoC與感知融合方案，助力車載智能視覺升級》的演講，和記者分享了端側(cè)AI的發(fā)展前景以及飛凌微的最新技術(shù)和產(chǎn)品。

端側(cè)AI蓬勃發(fā)展，視覺處理需求日益提高

過去十多年來，端側(cè)AI技術(shù)蓬勃發(fā)展，尤其在視覺應(yīng)用和神經(jīng)網(wǎng)絡(luò)兩個領(lǐng)域的突破尤為顯著。視覺類產(chǎn)品從最初的安防監(jiān)控擴(kuò)展到如今的消費(fèi)類設(shè)備，如智能手機(jī)、家庭攝像頭和智能門鈴。機(jī)器視覺技術(shù)的應(yīng)用也日益廣泛，從掃地機(jī)器人到人臉支付，視覺技術(shù)已滲透至日常生活的每一個角落，豐富了人們的體驗。

與此同時，神經(jīng)網(wǎng)絡(luò)和AI算法的快速發(fā)展為端側(cè)AI應(yīng)用帶來了全新的可能性。隨著AI算法的逐步成熟，許多應(yīng)用場景不再依賴云端處理，而是直接在端側(cè)完成數(shù)據(jù)采集與處理。這一模式不僅減少了數(shù)據(jù)傳輸?shù)难舆t，提高了系統(tǒng)的實(shí)時性，還在數(shù)據(jù)隱私和安全方面取得了重要進(jìn)展。尤其在車載視覺等敏感領(lǐng)域，端側(cè)處理保護(hù)了原始圖像數(shù)據(jù)，避免了隱私泄露的風(fēng)險，同時還能降低整體成本。

端側(cè)AI的應(yīng)用場景也愈加豐富，智能車載、智能家居、物聯(lián)網(wǎng)等領(lǐng)域紛紛涌現(xiàn)出大量實(shí)踐。例如，在智能汽車中，視覺技術(shù)已經(jīng)顯著改善了駕駛體驗。車載攝像頭不僅用于提供360度全景視圖，還支持ADAS輔助駕駛系統(tǒng)和車內(nèi)監(jiān)控，極大地提升了車輛的智能化水平。隨著應(yīng)用需求的增加，對攝像頭和處理芯片的性能要求也逐漸提高，高分辨率、多攝像頭協(xié)作和強(qiáng)大計算能力成為未來發(fā)展的方向。

以智能汽車為例，視覺技術(shù)的應(yīng)用十分廣泛，并顯著提升了駕駛體驗。車載視覺傳感器的使用日益增多，既用于360度影像監(jiān)控，也用于ADAS輔助駕駛系統(tǒng)及車內(nèi)監(jiān)控等。隨著應(yīng)用的落地，對攝像頭的性能要求日益提高，包括更高的分辨率和更優(yōu)的成像性能，并且希望通過多個攝像頭的組合實(shí)現(xiàn)更復(fù)雜的功能。這一發(fā)展帶來了兩個主要趨勢：一是對圖像性能的要求不斷提升，二是對處理性能的需求日益增加。隨著域控制器的功能愈發(fā)強(qiáng)大，可以接入更多的圖像傳感器。盡管芯片的復(fù)雜度增加，迭代速度減緩，但端側(cè)依然具備完成高性能圖像處理或視覺預(yù)處理的潛力，幫助整個系統(tǒng)更好地落地。

飛凌微M1系列，提供ISP+可拓展算力組合

正是基于市場需求與應(yīng)用方案的深入思考，飛凌微于今年推出了M1系列，分別包括一款用于車載高性能ISP（圖像信號處理器）芯片和兩款用于車載端側(cè)視覺感知預(yù)處理的輕量級SoC（系統(tǒng)級芯片）。

邵科表示，M1系列芯片的設(shè)計目標(biāo)明確聚焦車載應(yīng)用，因此在技術(shù)方案中融入了適應(yīng)車載系統(tǒng)的獨(dú)特技術(shù)，如功能安全與信息安全等關(guān)鍵要素，以確保在實(shí)際應(yīng)用中的高可靠性與安全性。這些技術(shù)的集成為智能車載系統(tǒng)提供了更強(qiáng)的保障，并推動了車載視覺技術(shù)的進(jìn)一步發(fā)展與應(yīng)用落地。

飛凌微M1是一款高性能ISP芯片，支持接收800萬像素的圖像數(shù)據(jù)或兩顆300萬像素的圖像數(shù)據(jù)，廣泛應(yīng)用于車載ADAS、影像類產(chǎn)品，以及近年來法規(guī)落地后的電子后視鏡等領(lǐng)域。作為飛凌微多年自主研發(fā)的核心技術(shù)，M1能夠在車載視覺采集中，滿足高動態(tài)范圍和優(yōu)異暗光性能這兩個關(guān)鍵要求。

首先，在高動態(tài)范圍成像方面，車載環(huán)境對光線的處理提出了極高的標(biāo)準(zhǔn)。白天的強(qiáng)烈陽光和夜晚的車燈照射，既影響人眼對周圍環(huán)境的直觀感知，也直接影響算法的精確識別。M1憑借其卓越的ISP技術(shù)，與圖像傳感器完美結(jié)合，能夠?qū)崿F(xiàn)出色的高動態(tài)范圍成像效果，確保在復(fù)雜光線條件下依舊保持高品質(zhì)的圖像輸出。其次，暗光環(huán)境下的成像也是一大挑戰(zhàn)，特別是在無路燈照明的道路、地下停車場等低光場景中，駕駛者對環(huán)境的清晰感知至關(guān)重要。飛凌微M1通過獨(dú)特的降噪處理技術(shù)，結(jié)合AI優(yōu)化的ISP算法，顯著提升暗光成像效果，保障在各種嚴(yán)苛條件下的駕駛安全。

除了M1的高性能ISP，飛凌微還在該系列芯片中集成了輕量級的計算能力，包括CPU與NPU算力，使得該芯片在處理圖像的同時具備AI應(yīng)用能力。通過自研的0.8TOPS NPU，M1能夠?qū)崿F(xiàn)輕量級的AI任務(wù)處理，例如人臉識別、姿態(tài)識別等，從而賦能端側(cè)系統(tǒng)具備更多智能化處理能力。

為了滿足不同應(yīng)用場景的需求，飛凌微還推出了M1Pro和M1Max兩款芯片。M1Max的算力資源是M1Pro的兩倍，能夠在端側(cè)處理更多的數(shù)據(jù)。M1Pro可用于實(shí)現(xiàn)車載DMS（駕駛員監(jiān)控系統(tǒng)）或單一OMS（乘客監(jiān)控系統(tǒng)）的功能，而M1Max則能同時接入兩顆傳感器，處理更復(fù)雜的場景，拓展了端側(cè)視覺處理的應(yīng)用邊界。

據(jù)悉，M1系列三款新品均符合AEC-Q100 Grade 2認(rèn)證及ISO26262 ASIL-B功能安全等級要求，符合嚴(yán)苛的車規(guī)級標(biāo)準(zhǔn)。特別值得一提的是，這三款芯片還采用了業(yè)內(nèi)最小的封裝形式——BGA 7mm×7mm封裝。這一極小的封裝尺寸不僅提升了模組的小型化設(shè)計，還為車載應(yīng)用的實(shí)際落地提供了更多靈活性。

融合思特威圖像傳感器技術(shù)優(yōu)勢，賦能車載視覺應(yīng)用場景多樣化

結(jié)合思特威在圖像傳感器領(lǐng)域的技術(shù)積累及市場優(yōu)勢，飛凌微在端側(cè)應(yīng)用中融合了數(shù)字SoC技術(shù)，實(shí)現(xiàn)了更完善的解決方案。這種優(yōu)勢互補(bǔ)的合作，不僅提升了市場和客戶體驗，還增強(qiáng)了技術(shù)集成和服務(wù)能力。

基于這一技術(shù)框架，飛凌微已經(jīng)在車載領(lǐng)域?qū)崿F(xiàn)了一些落地應(yīng)用。首先是在駕駛員監(jiān)控系統(tǒng)（DMS）中，隨著L2或L3級別輔助駕駛的普及，駕駛員的狀態(tài)監(jiān)控變得尤為重要。系統(tǒng)需要實(shí)時監(jiān)測駕駛員的疲勞、注意力和聲音等狀態(tài)，并通過反饋機(jī)制提供報警或提示。這些數(shù)據(jù)不僅可以用于車內(nèi)安全提醒，也可為車載域控制器提供重要依據(jù)。當(dāng)前市場上存在兩種應(yīng)用模式：一種是集成化架構(gòu)，某些新勢力車企將所有圖像傳感器接入用戶系統(tǒng)，其冗余算力能夠高效支持駕駛員監(jiān)控功能；另一種則是資源受限的電驅(qū)架構(gòu)，在這類環(huán)境中，增加DMS功能會帶來較大的技術(shù)挑戰(zhàn)。針對這一需求，飛凌微提出了端側(cè)處理的方案，直接在模組端完成視覺數(shù)據(jù)的處理，并輸出已優(yōu)化的有效數(shù)據(jù)，極大簡化了新車功能升級的過程。特別是在歐洲，DMS已經(jīng)成為強(qiáng)制性法規(guī)，預(yù)期未來3-5年內(nèi)，這一功能在國內(nèi)的普及率也將迅速提升。在這一方案中，飛凌微通過結(jié)合思特威的圖像傳感器與M1Pro芯片，能夠高效實(shí)現(xiàn)DMS功能，滿足車載應(yīng)用的需求。

另一重要應(yīng)用是艙內(nèi)監(jiān)控系統(tǒng)（OMS）。該系統(tǒng)最初用于商用車和運(yùn)營車輛上監(jiān)控乘客狀態(tài)，但如今其應(yīng)用已擴(kuò)展到拍照、視頻、手勢識別等功能。這對圖像傳感器提出了更高的要求，需要在成像過程中同時輸出RGB彩色圖像和近紅外（IR）圖像。飛凌微通過500萬像素的圖像傳感器和M1芯片的集成方案，能夠同時滿足車艙內(nèi)娛樂、拍照等應(yīng)用需求，并為后續(xù)算法提供IR圖像支持。尤其是在國外，諸如兒童遺落在車內(nèi)的監(jiān)測等功能正在逐步成為法律強(qiáng)制要求，進(jìn)一步推動了這一技術(shù)的發(fā)展。

第三個應(yīng)用場景是電子后視鏡。傳統(tǒng)后視鏡在白天表現(xiàn)良好，但在夜晚的低光環(huán)境下性能有限。隨著法規(guī)的允許，電子后視鏡開始逐漸取代物理后視鏡，特別是在夜視性能上，電子后視鏡具備明顯的優(yōu)勢。為了實(shí)現(xiàn)更高的成像質(zhì)量，電子后視鏡方案通常需要高性能的圖像傳感器與ISP（圖像信號處理器）結(jié)合，確保在白天和夜晚都能提供清晰的成像效果。

最后一個應(yīng)用是后視攝像頭的智能化升級。傳統(tǒng)后視攝像頭多用于倒車輔助，而通過端側(cè)集成算法后，后視攝像頭能夠在倒車時實(shí)時檢測行人和物體，提升駕駛安全性。飛凌微通過將圖像傳感器與端側(cè)SoC相結(jié)合，在模組端實(shí)現(xiàn)了輕量化的智能解決方案，為后視攝像頭賦予更多功能，進(jìn)一步增強(qiáng)了駕駛體驗和安全保障。

從車載出發(fā)，布局更廣闊的端側(cè)AI場景

端側(cè)視覺AI應(yīng)用不僅在車載領(lǐng)域擁有廣泛的落地機(jī)會，在工業(yè)自動化、智能家居等其他行業(yè)也展現(xiàn)了巨大的應(yīng)用潛力。飛凌微正持續(xù)開發(fā)新一代SoC產(chǎn)品，致力于與圖像傳感器深度融合，推動端側(cè)應(yīng)用在各個領(lǐng)域的廣泛落地，全面提升人們的生活品質(zhì)。“我們現(xiàn)在已經(jīng)在開發(fā)第二代的產(chǎn)品，考慮到多模態(tài)的應(yīng)用包括不同傳感器的輸入、語音跟視覺的組合等等，這是可以用得上去的。同時，也是考慮在端側(cè)的應(yīng)用，它的算力可能會更大一些?！鄙劭仆嘎兜?。