一種基于灰度投影的實時電子穩(wěn)像方法

1、引言

        電子穩(wěn)像[1,2]（EIS, Electronic Image Stabilization）就是用數(shù)字圖像處理和電子技術(shù)直接從像面上來確定圖像序列的幀間偏移，并進行運動補償從而獲取穩(wěn)定的圖像序列的技術(shù)。與傳統(tǒng)的光學穩(wěn)像和機械式穩(wěn)像技術(shù)相比，電子穩(wěn)像具有穩(wěn)像精度高、體積小、重量輕、功耗低及成本低等優(yōu)點。從穩(wěn)像技術(shù)研究的歷史來看，電子穩(wěn)像技術(shù)是研究的發(fā)展趨勢，在軍事和民用中都有廣泛的應(yīng)用前景。

        電子穩(wěn)像中，全局運動估計[1]和變換參考幀策略是兩大難點，正確地估計圖像序列的幀間運動是關(guān)鍵。目前用于電子穩(wěn)像運動估計的算法有很多種，如塊匹配法[3]、位平面匹配法[4]、代表點匹配法[5]等等。其中灰度投影法[6]算法簡單，計算量小，同時還能保持較高的準確度。驗證并應(yīng)用多區(qū)域灰度投影法來消除內(nèi)部運動物體對全局運動估計的影響，并設(shè)計了一種帶有校正的變換參考幀策略。

2、電子穩(wěn)像基本流程

        如上圖[1]所示，電子穩(wěn)像過程由圖像預處理、局部運動估計、全局運動估計和運動補償?shù)葞讉€部分組成。預處理：圖像的采集與處理準確度受到多種因素的影響，如CCD的空間分辨率、量化誤差、系統(tǒng)噪音、A／D轉(zhuǎn)換準確度、攝像機振動等，這些噪音直接影響到圖像序列的處理和電子穩(wěn)像系統(tǒng)的性能。在運動估計與運動補償?shù)确€(wěn)像操作前，需要對圖像做濾波操作，實驗采用的是中值濾波。運動估計[7]：包括局部運動估計和全局運動估計，即求取相鄰兩幀圖像之間偏移，求得局部運動矢量和全局運動矢量。運動補償[8]：用運動估計得到的運動矢量把圖像校準到同一基準上，得到穩(wěn)定的圖像序列。

                                           圖1 電子穩(wěn)像流程圖

3、灰度投影

        灰度投影算法是基于標準的幀與幀之間的運算，算法分為圖像映射、投影濾波、相關(guān)計算三個步驟。

        圖像映射是把每一幀輸入的圖像二維灰度信息映射成兩個獨立的一維投影序列，公式如下：， 式中 是第k幀圖像第i行的灰度值； 是第k幀圖像第j列的灰度值； 是第k幀圖像 位置處的像素的灰度值。

        投影濾波就是要對圖像投影值進行濾波，因為偏移量大時，邊緣信息在互相關(guān)運算時會對互相關(guān)的峰值產(chǎn)生不利的影響，這就要求把邊緣處的投影值去除。通常采用的是余弦濾波，此方法可以保留中間區(qū)域的投影值，降低邊緣區(qū)域的信息幅值，從而保證相關(guān)計算的正確性，提高校正精度。

        相關(guān)計算是把第k幀圖像與參考幀圖像的行、列投影曲線做互相關(guān)計算，根據(jù)兩條相關(guān)曲線的峰值即可確定當前幀圖像相對于參考幀圖像的行、列位移矢量。得到水平和垂直方向的位移矢量后就把當前圖像向位移矢量的反方向移動相應(yīng)像素距離，實現(xiàn)圖像序列的穩(wěn)定。

4、分區(qū)域灰度投影

        為消除局部運動物體對運動估計的影響，提高灰度投影的可靠性，采用分區(qū)域灰度投影法。

        分塊的大小和多少應(yīng)該由圖像的大小、內(nèi)部運動物體的大小，還有灰度投影的有效性三個方面決定。若分得塊太多，每個塊包含的信息量太少，將會影響灰度投影的準確度，若分的塊太少了，就不能準確判斷局部運動矢量。

        表1為將投影區(qū)域分成不同大小進行運動估計的仿真實驗結(jié)果。由表1可知,若投影區(qū)域大小小于90×90能準確估計的范圍太小，容易出現(xiàn)誤差，而大于100×100像素的能保證灰度投影的有效性，滿足運動估計的需要。塊的大小的確定還要兼顧內(nèi)部運動物體的大小，內(nèi)部運動物體越小，越容易應(yīng)用分塊的灰度投影法消除其對全局運動矢量造成的影響。應(yīng)用背景下目標最小為幾個像素，最大時為180×120個像素。通常情況下，運動目標位于視場中心，如果分成4個投影區(qū)域[9]，每個區(qū)域都可能包含運動目標的一部分，也就難以得到實際的全局運動矢量，所以至少要把投影區(qū)域分成9個塊。假定圖像大小為720×576，目標最大為180×120，選取中間投影區(qū)域分成9個大小為200×180像素的塊，目標最多占有四個塊，不會影響全局運動估計的判決。可見，只要滿足內(nèi)部運動物體占有少數(shù)塊和保證灰度投影的有效性，就能保證得到正確的全局運動估計矢量。

                             表1 投影區(qū)域分塊大小對運動估計影響

                               
                                                圖2 圖像分塊示意圖
5、變換參考幀策略

        實時電子穩(wěn)像中，攝像機處于不斷的運動中，背景不是一成不變的。如果一直以第一幀為參考幀，可能最后穩(wěn)像出來的圖像序列不能反映真實的運動，這就要求實時更新參考幀。如果每一幀都以前一幀為參考幀，又會大大增加計算量，影響電子穩(wěn)像的實時性。

        為了兼顧穩(wěn)像的速度和準確度，采用每n幀換一次參考幀,n的值要綜合考慮攝像頭的運動情況來確定。參考幀使用的是穩(wěn)定以后的圖像，這里存在的問題就是如果一直選取穩(wěn)定后的圖像為參考幀，如果某次運動補償出現(xiàn)錯誤，例如由于實際偏移超出最大偏移范圍而導致的運動估計錯誤，那么這種錯誤就會一直延續(xù)下去。所以采取視頻編碼中若干P幀后插入I幀的方法[10]，每隔k幀插入一幀原始圖像作為參考幀。如果換取參考幀時，本幀的運動矢量太大，偏離上一參考幀太多，則采取下一幀為參考幀。

                                               圖3 變換參考幀流程圖

6、實驗結(jié)果與分析

        仿真所用的圖像截取自地震瞬間某銀行監(jiān)控設(shè)備所拍下的視頻，在這段視頻中整個背景都在劇烈抖動。對這段視頻進行穩(wěn)像處理，圖4所示為從中截取的連續(xù)6幀圖像，以及進行穩(wěn)像處理后的圖像。

                                     圖4.1 穩(wěn)像前的連續(xù)6幅圖像

                                      圖4.2 穩(wěn)像后的連續(xù)6幅圖像

        對實驗的效果進行分析，圖5所示為對這6幀圖像在穩(wěn)像前后的行、列投影曲線進行比較。其中橫坐標表示行、列數(shù)，縱坐標表示投影值。由圖可見，穩(wěn)像前6幅圖像的投影曲線有很大差異，在穩(wěn)像后投影曲線差異減小，基本達到一致。

                     
                           圖5.1 穩(wěn)像前、后連續(xù)6幀圖像行投影比較

                           圖5.2 穩(wěn)像前、后連續(xù)6幀圖像列投影比較

        品質(zhì)因子PSNR（Peak Signal To Noise Ratio）是穩(wěn)像效果的一種評價標準。

        其中均方差MSE為兩幀間每個像素的偏差值，PSNR越大穩(wěn)像效果越好。由表2可知，采用分塊灰度投影法穩(wěn)像后的PSNR值比整體投影法有了很大提高，表明此電子穩(wěn)像方法取得了較好的穩(wěn)像效果。

                           表2 兩種方法穩(wěn)像前后PSNR值比較

                
7、結(jié)論

        深入分析了利用分區(qū)域灰度投影算法進行全局運動估計的方法，可以有效地消除局部物體運動對全局運動估計的影響，借鑒視頻編碼的思想設(shè)計了參考幀更新策略，帶有校正功能，此穩(wěn)像算法實現(xiàn)簡單、容易理解，用它對劇烈抖動的地震視頻進行穩(wěn)像，取得較好的效果