【VISION GUIDE - 25】常見的ISP圖像去噪
掃描二維碼
隨時(shí)隨地手機(jī)看文章
ISP之圖像去噪
噪聲，是Sensor成像過程中無法躲避的“破壞分子”，若不進(jìn)行恰當(dāng)處理，不僅會(huì)影響圖像的質(zhì)量，也會(huì)影響視覺感知等任務(wù)的精確度。因此，ISP中的圖像去噪模塊便應(yīng)運(yùn)而生，對(duì)圖像的最終質(zhì)量產(chǎn)生了舉足輕重的影響。
噪聲的來源
噪聲的來源
Sensor的輸入是光子，輸出的是數(shù)字信號(hào)，中間經(jīng)過了光電轉(zhuǎn)換、電子累積、電壓量化的過程。而在這些過程中，有著各式各樣的因素，這些因素在信號(hào)轉(zhuǎn)換的過程中引入了噪聲。舉例來說，光電轉(zhuǎn)換中，光子的量子特性會(huì)引入泊松噪聲，電壓讀出時(shí)，會(huì)引入CMOS電路的熱噪聲，電壓量化中，也會(huì)引入ADC的量化噪聲?，F(xiàn)有的CMOS傳感器無法避免地引入了這些噪聲，因此需要去噪模塊進(jìn)行抑制。
圖像去噪示意圖
2DNR
2DNR即空域降噪，不涉及時(shí)域信息。傳統(tǒng)的2DNR包含空間域、變換域等一系列方法，可以在ISP pipeline的RAW域、RGB域、YUV域執(zhí)行，方法與色域的選擇取決于具體的噪聲分布與圖像質(zhì)量需求。以下列舉幾個(gè)在ISP芯片中較為常用的2DNR方法：
NLM
Non-local mean首次提出利用圖像的非局部自相似性進(jìn)行去噪，其核心思想是利用圖像中的相似塊進(jìn)行去噪，對(duì)每一個(gè)輸入像素，在給定的Search Window中執(zhí)行相似度計(jì)算，得到像素權(quán)重，最終執(zhí)行濾波。NLM算法在性能與面積上達(dá)到了較好的平衡，因此許多廠商都會(huì)選擇使用這一算法及其變種算法。
圖2：NLM（RAW域），相似塊（5 * 5）、滑窗（17 * 17）示意圖
小波閾值
小波閾值算法隸屬于變換域算法，小波變換是圖像處理中經(jīng)常采用的方法，選定合適的小波基與分解層數(shù)，可以定位到圖像的不同頻段，從而對(duì)不同頻段的噪聲進(jìn)行針對(duì)性的處理。由于噪聲主要分布在高頻，小波閾值算法主要是對(duì)圖像的高頻分量執(zhí)行閾值處理。
圖3：小波閾值算法（2層）示意圖
BM3D
BM3D結(jié)合了空間域與變換域算法的優(yōu)點(diǎn)，分為初始估計(jì)與最終估計(jì)兩個(gè)階段，協(xié)同相似塊匹配、3D頻域變換、閾值處理、維納濾波等操作，最終聚合得到去噪圖像。BM3D算法在傳統(tǒng)算法中有著很高的地位，其效果相比前面兩種方法更好，但是由于它的算法復(fù)雜度高、硬件實(shí)現(xiàn)代價(jià)大，因此實(shí)際ISP芯片中使用得反而沒有那么多。
圖4：BM3D算法示意圖
3DNR
3DNR在2DNR的基礎(chǔ)上加入了時(shí)域信息，結(jié)合當(dāng)前幀與歷史幀的信息進(jìn)行處理。由于信息量的增加，3DNR算法能夠取得比2DNR算法更好的效果，在一些2DNR難以發(fā)揮作用的場(chǎng)景，如暗光場(chǎng)景下，3DNR的重要性更為顯著。此處以一個(gè)較為簡單的3DNR算法為例，簡要介紹其原理。3DNR算法涉及運(yùn)動(dòng)估計(jì)，簡單的，如示意圖中的算法，采用幀差法來判斷像素是否處于運(yùn)動(dòng)區(qū)域，復(fù)雜的，則可以利用光流等信息，來進(jìn)一步優(yōu)化3DNR的效果。示意圖中的算法還聯(lián)合了噪聲估計(jì)，將圖像分區(qū)，低噪聲、運(yùn)動(dòng)的區(qū)域，當(dāng)前幀權(quán)重大，高噪聲、靜止的區(qū)域，歷史幀權(quán)重大。考慮到3DNR需要與DDR進(jìn)行交互，對(duì)高分辨率的場(chǎng)景而言，會(huì)占用很高的DDR帶寬，因此也會(huì)考慮對(duì)圖像進(jìn)行壓縮后，再存入DDR。當(dāng)然，3DNR雖好，但也可能存在運(yùn)動(dòng)噪聲、鬼影、拖影等問題，需要結(jié)合性能與硬件開銷進(jìn)行trade off，打磨出最符合需求的算法。
圖5：一種3DNR算法示意圖
結(jié)語
本文介紹了ISP中的圖像去噪模塊，主要聚焦于圖像去噪的傳統(tǒng)算法，包含2DNR、3DNR模塊。由于真實(shí)噪聲的信號(hào)相關(guān)性以及ISP本身引入的非線性，實(shí)際往往需要多色域的多個(gè)去噪模塊進(jìn)行聯(lián)動(dòng)配合，才能取得最好的效果。此外，ai算法已經(jīng)取得了遠(yuǎn)勝傳統(tǒng)算法的去噪效果，ISP芯片中也往往會(huì)優(yōu)先考慮將NR模塊ai化，關(guān)于圖像去噪的ai算法之后會(huì)繼續(xù)介紹。
下載文檔
