當前位置:首頁 > 電源 > 數字電源
[導讀]利用飛速發(fā)展的FPGA技術,在圖像采集前端實現(xiàn)Bayer插值變換。比較了常用的3種插值方法,選用計算復雜度較高但圖像質量最佳的Optimal Recovery方法。采用Lattice的FPGA芯片LFECP2-M50,實現(xiàn)1 208×1 024圖像,12 f/s,實時Bayer轉換。給出了實時采集圖像結果,顯示了插值變換前的原始圖像,計算了變換后圖像的峰值信噪比PSNR。

0 引言
    圖像工程在國防、教育、金融、醫(yī)療、印刷、智能交通、工業(yè)自動化、消費類電子等許多領域獲得了廣泛應用,發(fā)展十分迅速。眾所周知,圖像傳感器作為圖像系統(tǒng)的重要部件,基本分為兩類:CCD sensor或CMOSsensor。兩者都是利用感光二極管(photodiode)進行光電轉換,將圖像轉換為數字數據,而其主要差異是數據傳送的方式不同。
    sensor3彩色數字相機需要3個單色sensor獲得彩色圖像的R,G,B分量,成本較高。單CCD獲得彩色圖像的方法是在CCD表面覆蓋1個只含紅、綠、藍3色的馬賽克濾鏡,對其輸出信號通過一定的處理算法實現(xiàn)。這個設計理念最初由拜爾提出,所以這種濾鏡也被稱作拜爾模板(bayer pattern)。
    LatticeECP FPGA將高效的FPGA結構和高速的專用功能集于一身。LatticeECP-DSP(Economy plus DSP)是其中的第1個產品系列,它在芯片上集成了專用的高性能DSP塊。LatticeECP-DSP器件最適合用在具有成本優(yōu)勢的DSP功能應用系統(tǒng)中,比如由軟件定義的無線電、無線通信、軍事、圖像和視頻處理系統(tǒng)等。

l Bayer插值方法
   
Bayer Pattern的排列格式如圖1所示。


    盡管通過帶有Bayer濾鏡的單sensor相機采集的原始圖像帶有R,G,B三基色分量,但是不能不加任何算法處理.僅簡單地將3種分量分離。這樣不僅圖像分辨率很差,而且各像素點的三基色分量比例與被攝目標相比,失真也很嚴重。在圖2中,圖2(a)為原始彩色圖像;圖2(b)為僅取紅色分量,以灰度模式顯示的圖像;圖2(c)為僅取綠色分量,以灰度模式顯示的圖像;圖2(d)為僅取藍色分量,以灰度模式顯示的圖像。將圖2(b)~(d)圖像簡單疊加后,即可得到原始圖像圖2(a)??墒荂CD或CMOS sensor采集的原始Bayer圖像是不符合這種分離原則的,必須經過一定的圖像算法實現(xiàn)。
    在圖像處理領域廣泛應用的Bayer插值方法有多種,M.C.Poilpre對JPEG圖像的處理;H.S.Malvar,等的線性插值法;Remi Jean的像素雙插值法以及T.Guseo的低分辨率圖像處理。具有代表性的有3種:雙線性插值法、Ron Kimmel方法和OptimalRecovery方法。這三種方法各有優(yōu)劣。
1.1 雙線性插值法
    如圖3所示,每個像素位置原本僅有一種彩色分量,缺少的2種彩色分量由3×3鄰域內具有相同顏色分量的像素平均值獲得。圖3中B7和G3處像素的R,G,B分量由下式計算:
   

[!--empirenews.page--]
    雙線性插值法具有運算簡單,易于實現(xiàn)的優(yōu)點。其本質是一低通濾波器,缺點是忽略了不同彩色分量之間的相關信息以及圖像的邊緣。這樣,錯誤數據在復原的圖像邊緣會造成模糊甚至出現(xiàn)顏色混疊。
1.2 Ron Kimmel方法
    Ron Kimmel方法對于綠色像素,計算該點在各個方向的梯度,然后對梯度值加權進行平均;對紅色和藍色像素分量,取則紅色和藍色分量對綠色的比值進行加權平均。這種方法可以顯著改善圖像中物體邊緣的顏色混疊。
1.3 Optimal Recovery方法
    Optimal Recovery方法計算復雜度較高,但也是目前公開發(fā)表的圖像質量最佳的算法。一般的嵌入式系統(tǒng)很難實時完成。本文圖像處理系統(tǒng)采用Lattice的FPGA芯片LFECPRIM50,充分利用FPGA的天然并行結構,實時(1 208×1 024圖像,12幀/s)實現(xiàn)Bayer轉換算法,收到了很好的效果。Optimal Recovery算法如下:
    (1)如圖4所示,完成圖中所示P5處綠色像素插值盡可能利用精細尺度模式。


    (2)計算藍色分量需要2步:


1.4 峰值信噪比PSNR
    峰值信噪比PSNR和歸一化色彩差NCD的計算公式分別為:

    式中:MSE是原圖像與處理圖像之間均方誤差(mean square error);I表示原圖像第n個像素值;P表示處理后的圖像第n個像素值;Fram-esize表示圖像大小,如l 280×1 024;PSNR值越大,就代表失真越少。[!--empirenews.page--]

2 結果分析
    經過實時圖像采集系統(tǒng)獲取的圖像如圖5所示,其中圖5(a1)。(b1),(c1)為經過插值變換的圖像,色彩明亮,主觀感覺良好。圖5(a2),(b2),(c2)為采集的原始Bayer圖像,局部放大后可看到原始的馬賽克效應,如圖5中(a3),(b3),(c3)所示。峰值信噪比計算結果見表1,其中PSNRl為雙線性插值法,PSNR2為Optimal Recovery方法。



3 結語
    目前FPGA技術發(fā)展很快,內部資源越來越豐富,性價比不斷提高。充分發(fā)掘FPGA資源的潛力,盡可能將圖像預處理算法在系統(tǒng)的前端完成,這必將大大提高系統(tǒng)的實時特性,拓展嵌入式系統(tǒng)的應用領域。盡管著眼點是彩色圖像的Bayer插值變換,但對于其他使用FPGA器件的嵌入式系統(tǒng)設計方法也有積極的借鑒意義。

本站聲明: 本文章由作者或相關機構授權發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內容真實性等。需要轉載請聯(lián)系該專欄作者,如若文章內容侵犯您的權益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或將催生出更大的獨角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數字化轉型技術解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關鍵字: AWS AN BSP 數字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術公司SODA.Auto推出其旗艦產品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關鍵字: 汽車 人工智能 智能驅動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務中斷的風險,如企業(yè)系統(tǒng)復雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務連續(xù)性,提升韌性,成...

關鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據媒體報道,騰訊和網易近期正在縮減他們對日本游戲市場的投資。

關鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數據產業(yè)博覽會開幕式在貴陽舉行,華為董事、質量流程IT總裁陶景文發(fā)表了演講。

關鍵字: 華為 12nm EDA 半導體

8月28日消息,在2024中國國際大數據產業(yè)博覽會上,華為常務董事、華為云CEO張平安發(fā)表演講稱,數字世界的話語權最終是由生態(tài)的繁榮決定的。

關鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應對環(huán)境變化,經營業(yè)績穩(wěn)中有升 落實提質增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務引領增長 以科技創(chuàng)新為引領,提升企業(yè)核心競爭力 堅持高質量發(fā)展策略,塑強核心競爭優(yōu)勢...

關鍵字: 通信 BSP 電信運營商 數字經濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術學會聯(lián)合牽頭組建的NVI技術創(chuàng)新聯(lián)盟在BIRTV2024超高清全產業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術創(chuàng)新聯(lián)...

關鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關鍵字: BSP 信息技術
關閉
關閉