“聰明”一詞來自于《易林》成語“耳聰目明”，指的是聽覺靈敏、眼力敏銳，是一個人智慧的象征?，F(xiàn)在我們已經(jīng)到了人工智能的時代，機器視覺和聽覺對于它們的智能程度也是至關重要的。馬?。–hloe Ma，Arm 物聯(lián)網(wǎng)兼嵌入式事業(yè)部業(yè)務拓展副總裁）在Arm最新ISP IP Mail-C55的發(fā)布會上分享到。
智能視覺的應用前景廣闊，以智能攝像頭市場為例：市場數(shù)據(jù)表明商用和消費類智能攝像頭市場有望在五年近乎翻倍，從去年的 250 億美元到 2025 年有望達到 450 億美元。
隨著AI在垂直應用落地和持續(xù)向邊緣化部署，智慧視覺的應用也發(fā)生了一系列的演進。
在功耗敏感的端側提供專用AI算力
智慧視覺的應用已經(jīng)逐漸深入到了生活的方方面面，從高清商務視頻會議、安防/智能監(jiān)控、智慧城市到電池供電的可視門鈴和智能貓眼，用例非常廣泛。2020年突如其來的新冠疫情大大加速了數(shù)字化轉型的節(jié)奏，智能攝像頭也在商務會議、遠程教育、遠程健身等方面進一步普及。
簡單的視頻采集并不能滿足當前的應用需求，AI賦能讓更多的智能視覺應用成為可能。例如在公共健康方面，帶有人工智能 (AI) 的智能相機可以監(jiān)控口罩佩戴情況，跟蹤社交距離，并幫助追蹤接觸者。在工業(yè)和制造業(yè)方面，缺陷和異常檢測已經(jīng)起到了提高生產(chǎn)效率、保證產(chǎn)品質量和減輕人力投入的效果。而在更高精度、工序及其復雜的半導體制造過程中，基于深度學習算法的視覺檢測系統(tǒng)可以在每個半導體工藝完成后都會通過優(yōu)質產(chǎn)品的圖像進行訓練，并且學會識別缺陷。在農(nóng)業(yè)方面，智能視覺技術通過監(jiān)測雜草和農(nóng)作物種植密度，可以最大限度地提高產(chǎn)量，幫助緩解食品供應鏈的困難。
而未來進入到元宇宙時代，更多的人工智能功能，比如人臉識別、物體識別等的部署將會拓展到邊緣端，圖像處理的任務也就需要在端側完成，圖像處理后輸出的圖像可以直接送到機器學習 (ML) 加速器來做推理，加上現(xiàn)有的高清攝像頭和多攝像頭的逐步普及，人們對于視覺技術性能提出了更高的新要求。
智能視覺系統(tǒng)在端側逐漸普及，功耗敏感的端側如何提供足夠的算力，提供專業(yè)的圖像處理能力，這是當下技術發(fā)展的關鍵方向。在智能視覺系統(tǒng)端側添加專用的NPU引擎、ISP引擎，用于圖像處理能力，從而釋放CPU的資源專注于更適合的計算和控制等工作，才可以保證系統(tǒng)整體低功耗和性能兼顧。
端側智慧視覺系統(tǒng)需要什么樣的ISP？
當前智能攝像頭的CPU的絕大多數(shù)采用的是Arm的Cortex-A系列CPU IP，而據(jù)馬健介紹，未來除了基本的CPU之外，也會更多地使用 ISP 和 ML 加速器。要實現(xiàn)高效的系統(tǒng)設計，擁有可針對此類活動所需要的數(shù)據(jù)類型和處理進行匹配的 ISP 是非常重要的。一些 NPU、通用 GPU、ISP 等 IP 都會逐漸地在現(xiàn)有或者下一代芯片中得到應用，用于從圖像中提取更多有用的信息。
任何一個高速發(fā)展的市場都會經(jīng)過一段百花齊放的階段，然后市場漸趨成熟，變得愈發(fā)整合，智能視覺市場亦是如此。當前智能視覺的市場增長速度很快，用例很多并且有非常多創(chuàng)新。但市場的細分應用方向已經(jīng)基本明確，每個市場都有一些基本模塊，每個廠商也都有相似的方案。在這些細分市場上實現(xiàn)差異化，通過不同的算法和用例上的不同優(yōu)化，是當前創(chuàng)新的來源。
除了要在邊緣端提供專門的圖像處理能力和AI加速的能力外，還應注意在不同智能視覺的用例上，對于圖像處理的質量也是不同的。例如一些簡單的物品識別的場景對于分辨率的要求并不高；而在安防領域例如車牌和人臉識別，對于圖像處理質量要求就高得多；像在高精度的缺陷檢測用例中，對于圖像的成像精度有著更高的要求。
基于以上的技術發(fā)展趨勢和市場應用需求，Mali-C55的產(chǎn)品定義也就呼之欲出。應用在功耗敏感的端側，有專業(yè)的圖像處理能力，強大的AI算力，支持可靈活拓展的用例，并且易于部署。
Mali-C55：一半面積實現(xiàn)翻倍性能
Mali-C55有著高性能、易于配置、易于部署和系統(tǒng)整合難度低三大優(yōu)勢。幾大優(yōu)勢說起來簡單，但均來自Mali-C55的架構設計上的創(chuàng)新，以及Arm全套的IP強生態(tài)。
首先看性能參數(shù)方面，Maili-C55相比上代C52，面積直接縮減了一半，畫質和分辨率翻倍達到了8K、4800 萬像素，Throughput提升了一倍（1200Mpix/sec），此外攝像頭支持也從單通道提升到了最高8通道，像色彩映射和降噪等模塊也實現(xiàn)了升級?！案〉拿娣e同時也意味著更低的功耗?！瘪R健強調到。
易于配置和部署的優(yōu)勢來自Mali-C55靈活的模塊化設計。ISP的處理是一個流水線，從傳感器得到原始的圖像，而這些原始數(shù)據(jù)會經(jīng)過一系列的處理，包括時間降噪、空間降噪、色調映射等。傳統(tǒng)的ISP的流水線比較固定，開發(fā)者很難去配置每個步驟的內(nèi)容，或去掉某些步驟。正如上文所提到的，不同的用例對于不同的圖像處理有著不同的要求和偏向，而且不同客戶的要求也存在差異。
Mali-C55 是將時間降噪（Temper）、空間降噪（Sinter）和色調映射（Iridix）等作為不同的模塊，讓開發(fā)者靈活組合。Iridix將圖像中的這些局部區(qū)域定義為大小相等的網(wǎng)格，從每個網(wǎng)格中提取統(tǒng)計數(shù)據(jù)應用于圖像中相應的局部區(qū)域。Mali-C55中升級的Iridix8.1通過平滑每個局部色調曲線改進了局部色調映射算法，因此可以在明亮光源周圍實現(xiàn)更自然的衰減。Temper是通過組合連續(xù)幀來提高低光照條件下的圖像質量的時間降噪算法。 Mali-C55中升級的Temper4不僅通過更新的降噪算法提高了圖像質量，而且與 Mali-C52 相比，內(nèi)存帶寬減少了高達 50%。Sinter是一種空間降噪技術，Mali-C55中升級后的Sinter2.6可改善顏色通道中的細節(jié)和噪聲平衡，通過為每個顏色通道使用特定的寄存器來實現(xiàn)更好的細節(jié)平衡。這兩種降噪模塊可以在流水線中的順序可以進行按照客戶需求進行切換。
除了上述模塊外，在圖像處理的流水線過程中，開發(fā)者還可以加入 ML 加速、調用 NPU 的功能并運用大數(shù)據(jù)對數(shù)據(jù)進行分析，來增強 ISP 的功能，比如可以利用 ML 的功能使一些時間、空間方面的降噪效果做得更明顯。
模塊化的設計帶來了更靈活的部署選擇，客戶根據(jù)不同的應用需求可以使用Mali-C55來進行不同的配置。比如在安防監(jiān)控領域，室外的攝像頭成像經(jīng)常會受到光線、天氣和物體移動速度等因素的影響。借助 Mali-C55 增強的色調映射和降噪能力，人臉和物體識別就會更加精確，并且在車輛以時速 120.7 公里的速度行駛的情況下，也能做到比較準確的車牌識別。在智能家居領域，可視門鈴經(jīng)常是電池供電，所以對能耗的要求特別高，Mali-C55 的低面積、低能耗特性，使智能可視門鈴產(chǎn)品更耐用，并且能夠更準確地根據(jù)人臉識別的結果進行開鎖。
在系統(tǒng)整合方面，Mali-C55 也更易于整合，包括與 ML 加速器整合實現(xiàn)邊緣智能終端上本地視頻數(shù)據(jù)處理，以及通過標準的 AXI 和 AHB 接口，與現(xiàn)有的 Arm Cortex-A 和 Cortex-M 系列的 CPU 進行無縫對接。此外，Arm還將Mali-C55與MCU、CPU等IP一起打包推出了視覺的Corstone參考設計，這也極大地降低了客戶的設計和驗證門檻，幫助客戶加速智慧視覺的產(chǎn)品設計和縮短上市時間。
總結
“Arm 架構是物聯(lián)網(wǎng)的基石。Arm 在 IoT 和嵌入式領域已經(jīng)有很高的市場份額。在我們的合作伙伴每季度平均出貨的70多億顆基于Arm的芯片中，超過半數(shù)是面向物聯(lián)網(wǎng)/嵌入式設備的。也就是說我們在這方面有很深的積累?！瘪R健分享到。
在端側智能視覺的發(fā)展中，ISP必不可少，而ISP上的布局也將會成為Arm持續(xù)關注的方向。憑借著足夠優(yōu)秀的性能表現(xiàn)，再輔以Arm完備的IP生態(tài)，Mali-C55的市場前景廣闊，預計搭載Mali-C55的芯片跟終端設備有望在 2023 年面市。
下載文檔
