Arm 發(fā)布全新ISP Mali-C55，在一半芯片面積上實(shí)現(xiàn)增強(qiáng)圖像處理能力

未來(lái)設(shè)備對(duì)圖像處理的需求繼續(xù)呈指數(shù)級(jí)增長(zhǎng)。主要的例子是安全攝像頭和監(jiān)控市場(chǎng)，目前價(jià)值250億美元。預(yù)計(jì)到2025年，復(fù)合年增長(zhǎng)率將達(dá)到13%，達(dá)到450億美元，其中約四分之一用于消費(fèi)類(lèi)智能家居相機(jī)。全球安裝了大約十億臺(tái)攝像機(jī)。據(jù)估計(jì)，下一個(gè)十億臺(tái)攝像機(jī)將在短短4年內(nèi)安裝完畢。Arm正在擴(kuò)展其ISP產(chǎn)品組合，并宣布Arm Mali系列的最新Arm Mali-C55：迄今為止Arm最小，性能最高的圖像信號(hào)處理器（ISP）。

Arm Mali-C55是用于計(jì)算機(jī)視覺(jué)和智能顯示系統(tǒng)的多功能圖像信號(hào)處理器，它可以為各種物聯(lián)網(wǎng)、嵌入式和機(jī)器學(xué)習(xí) （ML） 應(yīng)用（包括用于消費(fèi)和商業(yè)安全的智能攝像頭、業(yè)余愛(ài)好無(wú)人機(jī)和機(jī)器人、機(jī)頂盒和 AR 可穿戴設(shè)備）提供高分辨率圖像處理、能效和無(wú)與倫比的圖像質(zhì)量的最佳組合。該處理器是迄今為止最小的，但它提供了比其前身更高的圖像質(zhì)量和更高的性能，并且建立在多攝像頭和物聯(lián)網(wǎng)（IoT）計(jì)算機(jī)視覺(jué)系統(tǒng)的基礎(chǔ)上。

Arm物聯(lián)網(wǎng)和嵌入式副總裁Mohamed Awad聲稱(chēng)“Mali-C55提供升級(jí)的圖像質(zhì)量功能，可在各種不同的照明和天氣條件下工作”，意思是在區(qū)域和功耗受限的應(yīng)用中它可以實(shí)現(xiàn)最大的性能和能力，使其成為智能相機(jī)和邊緣AI視覺(jué)用例的理想選擇。下圖為Arm MaliISP的比較表，通過(guò)數(shù)據(jù)可以看出Mali-C55與前代產(chǎn)品相比，提供升級(jí)的圖像質(zhì)量功能，具有更高的吞吐量、更低的功耗和顯著更小的硅片面積。Mali-C55 為電池供電設(shè)備提供高性能圖像信號(hào)處理，并為有線設(shè)備和已建立的攝像系統(tǒng)提供增強(qiáng)的性能。

Mali-C55 ISP是一個(gè)完整的解決方案，包括硬件IP、軟件驅(qū)動(dòng)程序、3A庫(kù)（自動(dòng)曝光、自動(dòng)白平衡、自動(dòng)對(duì)焦）以及全套調(diào)教和校準(zhǔn)工具。在未來(lái)Mali-C55 ISP 將配備面向物聯(lián)網(wǎng)的 Arm 整體解決方案、。

在最小的芯片面積內(nèi)實(shí)現(xiàn)最高性能

Mali-C55 可在所有 Arm Mali ISP 中最小的硅片面積中以低功耗提供高達(dá) 1.2 千兆像素/秒的吞吐量，適用于電池供電設(shè)備和邊緣 AI 視覺(jué)用例。新型 Mali-C55 圖像信號(hào)處理器以同類(lèi)領(lǐng)先的 Mali-C52 ISP 為基礎(chǔ)，通過(guò)提供以下功能的增強(qiáng)功能來(lái)支持需要高質(zhì)量圖像輸出的應(yīng)用：

Arm Iridix 局部音調(diào)映射

Arm Temper temporal降噪

Arm Sinter spatial降噪

支持高動(dòng)態(tài)范圍 （HDR） 傳感器

Iridix 局部色調(diào)映射是將強(qiáng)度變換應(yīng)用于圖像的過(guò)程，通過(guò)使用從圖像中的局部區(qū)域收集的信息來(lái)實(shí)現(xiàn)更好的可視化。Iridix 將圖像中的這些局部區(qū)域定義為大小相等的網(wǎng)格。它從每個(gè)網(wǎng)格中提取統(tǒng)計(jì)信息，以將收集的統(tǒng)計(jì)信息應(yīng)用于映像中的相應(yīng)局部區(qū)域。與Mali-C52相比，Mali-C55通過(guò)平滑每個(gè)局部色調(diào)曲線來(lái)改進(jìn)Iridex局部色調(diào)映射算法，從而實(shí)現(xiàn)明亮光源周?chē)匀坏乃p。

Temper 是一種時(shí)間降噪算法，通過(guò)組合連續(xù)幀來(lái)提高低光照條件下的圖像質(zhì)量。與Mali-C52相比，Mali-C55不僅通過(guò)更新的降噪算法提高了圖像質(zhì)量，而且內(nèi)存帶寬降低了50%。

Sinter 2.6是一種改進(jìn)的空間降噪技術(shù)，可改善色彩通道中的細(xì)節(jié)和噪聲平衡。與Mali-C52相比，Mali-C55的Sinter礦通過(guò)為每個(gè)顏色通道使用特定的寄存器實(shí)現(xiàn)了更好的細(xì)節(jié)平衡。

Temper和Sinter功能模塊旨在通過(guò)在模塊之間共享信息，在各個(gè)區(qū)域應(yīng)用更強(qiáng)的降噪功能來(lái)協(xié)同工作，以獲得顯著更好的圖像質(zhì)量。與以前的ISP設(shè)計(jì)相比，Temper和Sinter塊順序在管道中切換。通過(guò)這種方式，Temper的輸入運(yùn)動(dòng)掩碼提高了整體運(yùn)動(dòng)自適應(yīng)降噪性能，同時(shí)提供了每個(gè)平面的噪聲分析。

對(duì)于需要高吞吐量和低延遲的計(jì)算機(jī)視覺(jué)應(yīng)用，可以通過(guò)啟用或禁用上述功能來(lái)配置Mali-C55 ISP。這種可配置性有助于在不同應(yīng)用內(nèi)提供最大的性能和功能，使其成為各種用例的理想選擇。

高動(dòng)態(tài)范圍

與前代產(chǎn)品相比，增強(qiáng)了對(duì)高動(dòng)態(tài)范圍 （HDR） 傳感器的支持，具有 2：1 HDR 拼接、數(shù)字疊加 （DOL） 和雙像素 HDR，可應(yīng)對(duì)具有挑戰(zhàn)性的照明和天氣條件。Mali-C55 具有多達(dá) 8 個(gè)輸入的多攝像頭處理功能，可支持高達(dá) 4800 萬(wàn)像素/8K 的分辨率。上一代，maliC-52僅通過(guò)單個(gè)界面支持多達(dá)4個(gè)攝像頭，最大支持1600萬(wàn)像素。Mali-C55 具有圖像質(zhì)量、吞吐量、功耗和硅片面積的最佳組合，可滿足各種消費(fèi)類(lèi)、商業(yè)和工業(yè)視覺(jué)系統(tǒng)應(yīng)用的要求。

高度靈活的配置

可配置硅片，可根據(jù)需要選擇處理模塊，包括顏色降噪、全分辨率輸出流水線中的降頻器以及單緩沖或雙緩沖配置。在現(xiàn)代SoC中，ISP的輸出越來(lái)越多地直接連接到機(jī)器學(xué)習(xí)加速器，以便通過(guò)神經(jīng)網(wǎng)絡(luò)或其他ML算法進(jìn)行進(jìn)一步處理。這通常意味著為ML模型提供縮小的圖像來(lái)檢測(cè)和識(shí)別對(duì)象，甚至嘗試更復(fù)雜的推理，如姿勢(shì)估計(jì)。Mali-C55提供了第二個(gè)輸出管道，可以輸出適合輸入到任何機(jī)器l增益加速器的縮小圖像。將ISP與機(jī)器學(xué)習(xí)加速器配對(duì)，能夠使用其他轉(zhuǎn)換器模型做為去噪技術(shù)，從而將ML功能添加到圖像處理管道中，從而進(jìn)一步提高圖像質(zhì)量。

由于對(duì)更高分辨率的需求不斷增長(zhǎng)，內(nèi)存帶寬預(yù)計(jì)將成為即將推出的面向視覺(jué)的SoC的關(guān)鍵瓶頸。在這樣的SoC中添加機(jī)器學(xué)習(xí)加速器可能會(huì)進(jìn)一步增加帶寬要求，從而加劇問(wèn)題。Mali-C55 支持與其他產(chǎn)品（如 Arm 幀緩沖壓縮 （AFBC））集成，這些產(chǎn)品可以解決此類(lèi)帶寬問(wèn)題，并在系統(tǒng)級(jí)別提供巨大優(yōu)勢(shì)。

Mali-C55可以與互補(bǔ)產(chǎn)品無(wú)縫集成，包括：

機(jī)器學(xué)習(xí)加速器

Arm緩沖壓縮 （AFBC）

Arm Mali-C10幾何畸變校正 （GDC）

這種技術(shù)組合可以在系統(tǒng)范圍內(nèi)實(shí)現(xiàn)最佳的成像解決方案。

支持 ML 的攝像機(jī)正在實(shí)現(xiàn)一種新的模式 - “軟件定義的攝像機(jī)” - 這為 OEM 和服務(wù)提供商在世界各地部署攝像機(jī)提供了新方法。關(guān)鍵硬件功能是預(yù)先提供的，但具有足夠的 ML 和通用處理功能，以便隨著時(shí)間的推移改進(jìn)或啟用其他軟件功能。訂閱和其他收入模式正在圍繞這些動(dòng)態(tài)功能進(jìn)行開(kāi)發(fā)。我們預(yù)計(jì)Mali-C55 ISP將成為靈活且功能強(qiáng)大的計(jì)算系統(tǒng)的關(guān)鍵組成部分，從而促進(jìn)這一趨勢(shì)。

軟件和工具支持

與任何 Arm 解決方案一樣，軟件和工具是 Mali-C55 產(chǎn)品的重要組成部分。Mali-C55 被許可方可以使用完整的軟件包來(lái)控制以下功能：

互聯(lián)網(wǎng)服務(wù)提供商

傳感器

自動(dòng)白平衡、自動(dòng)對(duì)焦和自動(dòng)曝光

裸機(jī)和 Linux（Video4Linux 框架 - V4L2）支持

ISP用戶還需要客觀和主觀調(diào)諧的能力，Arm提供了一整套調(diào)整和校準(zhǔn)工具。Arm 工具可幫助開(kāi)發(fā)人員實(shí)現(xiàn)所需的圖像質(zhì)量，這對(duì)于視覺(jué)設(shè)備至關(guān)重要。Arm 軟件和工具可實(shí)現(xiàn)最佳設(shè)計(jì)并縮短上市時(shí)間。

Arm 還提供專(zhuān)門(mén)的調(diào)整培訓(xùn)課程，并支持量身定制的調(diào)整，以滿足特定的傳感器和用例需要。

為了在硅片上市之前加快Mali-C55的SoC開(kāi)發(fā)速度，Arm還提供了1個(gè)位精度仿真模型以及一個(gè)參考平臺(tái)，可以對(duì)Mali-C55圖像質(zhì)量進(jìn)行預(yù)構(gòu)建和預(yù)調(diào)整的評(píng)估。

Arm繼續(xù)使生態(tài)系統(tǒng)中的更多合作伙伴能夠?yàn)樗蠱ali SP產(chǎn)品（包括Mali-C55）提供ISP調(diào)優(yōu)服務(wù)。

交付面向物聯(lián)網(wǎng)的 Arm 整體解決方案路線圖

在過(guò)去的一年里，Arm推出了面向物聯(lián)網(wǎng)的Arm整體解決方案，以加速物聯(lián)網(wǎng)的發(fā)展。作為路線圖的一部分，我們計(jì)劃將Mali-C55納入即將推出的物聯(lián)網(wǎng)整體解決方案中 - 從視覺(jué)系統(tǒng)的完整參考設(shè)計(jì)開(kāi)始，Mali-C55圖像信號(hào)處理器將配備預(yù)先驗(yàn)證的解決方案，該解決方案將支持特定的傳感器和雙輸出模式，該模式無(wú)縫連接到執(zhí)行各種功能的機(jī)器學(xué)習(xí)加速器。

解決各種圖像處理用例

Mali-C55 提供圖像質(zhì)量、高吞吐量、功耗和硅片面積的最有效組合。它可以實(shí)現(xiàn)廣泛的應(yīng)用，包括端點(diǎn)AI，智能家居攝像頭，AR / VR和智能顯示器。

它可以滿足視覺(jué)應(yīng)用對(duì)具有挑戰(zhàn)性照明和天氣條件下不同功率包絡(luò)的有線或電池供電設(shè)備的不斷增長(zhǎng)的需求。Mali-C55 可以通過(guò) Cortex-A 或 Cortex-M CPU 無(wú)縫集成到 SoC 設(shè)計(jì)中，因?yàn)樗ㄐ袠I(yè)標(biāo)準(zhǔn) AXI 和 AHB 接口。

Mali-C55 提供廣泛的可配置性選項(xiàng)，提供最高效的實(shí)施以支持目標(biāo)用例。例如，僅計(jì)算機(jī)視覺(jué)應(yīng)用程序不需要與全彩色顯示輸出相同級(jí)別的圖像處理。使用Mali-C55，可以省略特定的圖像處理功能或以模塊化方式單獨(dú)簡(jiǎn)化。

由于更新了色彩再現(xiàn)和降噪功能，Mali-C55還具有更高的圖像質(zhì)量，并且具有更高的性能，吞吐量高達(dá)1.2Gpix / sec。

Mali-C55 ISP是Arm成像產(chǎn)品發(fā)展的下一步。Arm能夠在不斷擴(kuò)大的智能攝像頭領(lǐng)域提供市場(chǎng)領(lǐng)先的產(chǎn)品，與現(xiàn)有的物聯(lián)網(wǎng)攝像頭系統(tǒng)相比，性能和效率將顯著提升。

---

本文編譯整理自：

Mali-C55

https://developer.arm.com/Processors/Mali-C55

Documentation – Arm Developer

https://developer.arm.com/documentation/107603/0100/?lang=en

Arm Mali-C55: Image processing with smallest silicon area and highest performance - Internet of Things (IoT) blog - Arm Community blogs - Arm Community

https://community.arm.com/arm-community-blogs/b/internet-of-things-blog/posts/new-image-signal-processor-mali-c55

Arm Unveils High-Performance Mali-C55 Image Signal Processor with Machine Learning, IoT Focus - Hackster.io

https://www.hackster.io/news/arm-unveils-high-performance-mali-c55-image-signal-processor-with-machine-learning-iot-focus-97fc195695e1

Arm 發(fā)布全新圖像信號(hào)處理器 助推物聯(lián)網(wǎng)及嵌入式市場(chǎng)視覺(jué)系統(tǒng)發(fā)展 - 21ic電子網(wǎng)

http://lujuzi.cn/a/929793.html