摘要:針對TV模型存在分塊效應(yīng),而四階PDE模型具有保持平坦區(qū)域光滑性的特點,提出自適應(yīng)耦合TV和四階PDE的正則化圖像放大模型。根據(jù)圖像內(nèi)容合理調(diào)整耦合系數(shù),在圖像漸變和平坦區(qū)域運用四階PDE擴散,消除分塊效應(yīng);而在圖像的突變區(qū)域運用TV模型濾波,保持突變邊緣。實驗結(jié)果表明,該算法是一種有效的圖像放大方法。
關(guān)鍵詞:圖像放大;偏微分方程;總變分;高階PDE
0 引言
圖像放大指增大圖像尺寸或提高其分辨率,同時保持較高的質(zhì)量,以得到一個較好的視覺效果,或突出某些細(xì)節(jié)。圖像放大通常可分兩步進行:首先對圖像進行空間變換;其次對圖像進行灰度級插值、處理。
傳統(tǒng)的線性插值算法有最近鄰法、雙線性插值法以及三次樣條插值法等。這些方法用一些已知的簡單函數(shù)根據(jù)一定的光滑性要求逼近原圖像。它們有其固有的缺點,如放大后的圖像邊緣模糊化和邊緣鋸齒化,而且放大倍數(shù)越大,這些現(xiàn)象越明顯。自適應(yīng)插值方法在空間上使插值系數(shù)較好地匹配邊緣附近的局部圖像結(jié)構(gòu),但在選擇和估計感興趣的邊緣時會導(dǎo)致誤差。邊緣指導(dǎo)的插值方法利用有限的對于邊緣的方向和幅度的量化來擬合圖像的亞像素邊緣,阻止跨邊緣的插值,因而能夠產(chǎn)生尖銳的邊緣,但對于邊緣的擬合過于簡單和粗糙,且會丟失一些圖像特征。其他還有基于凸集投影的迭代方法,基于小波變換和數(shù)學(xué)形態(tài)學(xué)的方法等,這些方法在性能上仍然有待提高,特別是在圖像含有噪聲的情況下。
基于偏微分方程(Partial Differential Equations,PDE)的圖像放大方法是在插值圖像的基礎(chǔ)上,通過迭代演化求解擴散方程,從而得到高分辨率圖像,并去除噪聲和人工痕跡等的影響。由于可以很方便地引入先驗知識,其獲得了良好的處理性能,已引起了廣泛關(guān)注,其中主流是基于正則化的PDE方法。各向同性擴散的PDE模型放大圖像時容易出現(xiàn)邊緣模糊、細(xì)節(jié)特征丟失等現(xiàn)象。而各向異性擴散的PDE雖然能在某種程度上保持放大圖像的細(xì)節(jié)特征,但隨著迭代求解次數(shù)的增加,圖像部分重要信息會偏離原圖像,導(dǎo)致圖像模糊。采用總變分(Total V-ariation,TV)模型進行圖像放大,能夠有效保持突變邊緣,且收斂速度快,但在平坦區(qū)域和漸變區(qū)域會產(chǎn)生分塊效應(yīng)。而四階PDE模型具有保持平坦區(qū)域光滑度的優(yōu)點,將其用于圖像放大會避免分塊效應(yīng),但卻降低了邊緣等重要幾何結(jié)構(gòu)的清晰度。
為充分運用四階PDE模型保持漸變區(qū)域光滑度的優(yōu)點,彌補總變分TV模型存在分塊效應(yīng)的不足,同時也保留了TV模型保持圖像中不連續(xù)邊緣的優(yōu)點,本文提出了自適應(yīng)耦合總變分TV和四階PDE的正則化圖像放大模型。根據(jù)圖像內(nèi)容合理調(diào)整耦合系數(shù),在圖像漸變區(qū)域和平坦區(qū)域主要運用四階模型進行平滑,消除階梯效應(yīng)和分塊效應(yīng);在圖像的突變區(qū)域著重運用TV模型進行平滑,保持突變邊緣。仿真實驗證明,本文算法能夠有效提高放大圖像的主觀視覺質(zhì)量和客觀保真度。
1 自適應(yīng)耦合TV和四階PDE的正則化圖像放大模型
TV模型最初用于圖像恢復(fù)中。設(shè)g,u分別表示低分辨率圖像和高分辨率圖像,根據(jù)極大似然原理,圖像放大可以歸結(jié)為如下不帶約束的正則化能量方程的極小化問題:
式中:D為圖像分辨率退化模型矩陣,刻畫了圖像獲取中的低通濾波和下采樣過程;式中第一項為逼近項,表示圖像和退化圖像的差異;第二項為圖像的正則化函數(shù),它依賴于圖像,函數(shù)R(·)對圖像u加以約束,一般取為梯度的Lp(p>0)范數(shù);λ>O為Lagrange乘子,在逼近項和正則化函數(shù)之間起平衡作用。
如果選擇圖像梯度的L2范數(shù)作為正則化函數(shù),則因為拉普拉斯算子具有很強的各向同性擴散特性,造成邊緣保持特性較差。總變分TV模型用圖像梯度的L1范數(shù)代替L2范數(shù),具有很好的邊緣保持特性。圖像的TV定義為:
式中:Ω是圖像區(qū)域。于是圖像放大問題就轉(zhuǎn)化成為如下無約束極小化問題:
式中:等式右端第一項為圖像的總變分范數(shù)(TV范數(shù)),它依賴于圖像的變分幅度。
TV模型的優(yōu)勢在于它并不要求圖像是連續(xù)的,它在放大圖像的同時,可以保持圖像中的不連續(xù)邊緣。TV模型的不足在于其穩(wěn)態(tài)解中往往存在分塊效應(yīng)。采用TV模型處理后圖像的平坦區(qū)域和漸變區(qū)域內(nèi)灰度非常接近或相同,整個圖像似乎是由不同亮度的區(qū)域組成,且其輪廓顯得過分尖銳,有時會產(chǎn)生額外的邊緣。
在式(1)中,若取正則化函數(shù)R(u)=f(|▽2u|)時,可得如下最小化能量函數(shù):
此即四階PDE模型,其中,▽2。表示拉普拉斯算子;f是非負(fù)且嚴(yán)格單調(diào)遞增函數(shù)。最小化式(4)相當(dāng)于找一個最小的|▽2u|,即平滑圖像u,同時又保持u與初始u0接近。
對于灰度漸變的區(qū)域,四階PDE模型式(4)并不會像TV模型那樣把圖像變?yōu)閹讉€灰度值不同的塊,而是將它平滑成一個灰度漸變的區(qū)域,雖然這和真實圖像不一定相同,但它一般不會產(chǎn)生額外的邊緣,與TV模型的結(jié)果相比,四階PDE模型克服了TV模型存在的圖像分塊這一不足,具有保持平坦區(qū)域光滑度的優(yōu)點,但卻降低了邊緣等重要幾何結(jié)構(gòu)的清晰度。
為充分發(fā)揮這兩種PDE模型的優(yōu)點,本文提出自適應(yīng)耦合TV和四階PDE的圖像放大模型。其基本思想就是根據(jù)圖像的局部特征,自適應(yīng)調(diào)整這兩種正則化模型的權(quán)重。在圖像漸變區(qū)域和平坦區(qū)域主要運用四階PDE進行平滑,消除分塊效應(yīng);而在圖像的突變區(qū)域重點用TV模型進行平滑,保持突變邊緣。其最小化能量函數(shù)為:
式中:λ>0為Lagrange乘子;p∈[0,1],決定了TV和四階模型的權(quán)值,可根據(jù)圖像內(nèi)容自適應(yīng)調(diào)節(jié)。在突變區(qū)域,要求p等于或接近于0,這樣就主要采用二階TV模型對圖像進行平滑;在圖像的漸變區(qū)域和平坦區(qū)域,要求0<<p<1,這樣該模型中就包含了四階模型的特性,克服了TV模型存在的不足。
式(5)對應(yīng)的Euler-Lagrange方程為:
2 實驗結(jié)果與分析
本文實驗主要與傳統(tǒng)的雙線性插值方法、TV模型和四階PDE模型放大方法進行比較。算法性能由放大圖像的峰值信噪比(Peak Signal to Noise Rate,PSNR)及主觀視覺效果評價。
本組實驗中,對512×512的不同內(nèi)容的標(biāo)準(zhǔn)圖像,進行4倍率平滑下采樣,得到分辨率為128×128的低分辨率圖像,然后采用不同的方法放大。實驗參數(shù)為:λ=0.01,△t=0.001,T=100,k=20,,σ=5。采用不同方法對5幅標(biāo)準(zhǔn)圖像放大的PSNR比較見表1。從PS-NR的角度看,本文耦合模型達(dá)到了最高的PSNR值。
圖1,圖2分別為對Cameraman,Lena圖像及其部分細(xì)節(jié)用TV模型及本文耦合模型放大結(jié)果比較圖。
從細(xì)節(jié)放大圖的對比可見,TV模型復(fù)原的圖像存在嚴(yán)重的分塊效應(yīng),而本文耦合模型將圖像平滑成了一個灰度漸變的區(qū)域,消除了分塊效應(yīng),得到了視覺效果較好的圖像。
3 結(jié)論
通過將TV模型和四階PDE自適應(yīng)結(jié)合,充分運用四階PDE模型保持漸變區(qū)域光滑度的優(yōu)點彌補總變分TV模型存在分塊效應(yīng)的不足,同時也保留了TV模型保持圖像中不連續(xù)邊緣的優(yōu)點。實驗結(jié)果表明了本文模型的良好性能,同時也證明了PDE方法用于圖像處理的優(yōu)越性。進一步的研究包括彩色圖像的PDE處理等。