面向異步視頻的嵌入式圖像處理系統(tǒng)設(shè)計(jì)

摘要：在此設(shè)計(jì)出一種基于DSP+FPGA技術(shù)的面向異步視頻的嵌入式圖像處理系統(tǒng)，以一種靈活的架構(gòu)避免了幀間不同步方法對雙口RAM顯存的需求，既能夠保證圖像輸出質(zhì)量，又有利于提升圖像處理的性能指標(biāo)。系統(tǒng)以FPGA為核心，連接DSP和4片幀存，通過幀存的循環(huán)復(fù)用將緩存和顯存融合起來，省略了數(shù)據(jù)搬運(yùn)的環(huán)節(jié)。當(dāng)輸入幀頻小于輸出幀頻時，從系統(tǒng)總體的角度分析幀存的狀態(tài)轉(zhuǎn)換規(guī)律，當(dāng)輸入幀頻大于輸出幀頻時，從單個幀存的角度分析幀存的狀態(tài)轉(zhuǎn)換規(guī)律，并蛤出了可編程邏輯設(shè)計(jì)的源程序，該方案已在產(chǎn)品中應(yīng)用，通過升級能夠滿足更高的技術(shù)要求。
關(guān)鍵詞：異步視頻；圖像處理；嵌入式系統(tǒng)；FPGA；幀存切換

    圖像處理系統(tǒng)輸入視頻信息，運(yùn)行圖像處理算法，輸出處理后的圖像信號，實(shí)現(xiàn)目標(biāo)檢瀏、跟蹤、識別等功能。系統(tǒng)的輸入和輸出常常是不同的視頻格式，二者由于幀頻的不同，處于異步的狀態(tài)。為了提高異步視頻時輸出畫面的質(zhì)量，本文展開了深入的研究，設(shè)計(jì)出一種基于DSP+FPGA技術(shù)的面向異步視頻的嵌入式圖像處理系統(tǒng)，提高了輸出圖像的視覺效果，結(jié)構(gòu)簡潔，具有小巧靈活的優(yōu)點(diǎn)。

1 異步視頻的處理方法
    如果圖像處理系統(tǒng)的輸入為復(fù)合模擬視頻，幀頻25 Hz；輸出為XGA格式，幀頻60 Hz；一幅輸入畫面平均產(chǎn)生2．4次輸出畫面，此時系統(tǒng)處理的就是異步視頻，有3種處理方法：幀內(nèi)不同步方法、幀間不同步方法和準(zhǔn)同步方法。
    (1)幀內(nèi)不同步方法。輸出幀以輸入幀的幀頻進(jìn)行切換，當(dāng)一幀輸入數(shù)據(jù)準(zhǔn)備好后，輸出幀就切換到新一幀的視頻數(shù)據(jù)，不管此時輸出幀進(jìn)行到了哪個時刻。這種模式中輸入幀和輸出幀處于幀內(nèi)的不同步狀態(tài)，即輸出幀的畫面可能由非同一幅輸入幀畫面組成。當(dāng)相鄰的兩幀圖像存在較大差異(目標(biāo)與傳感器有較高的相對運(yùn)動)時，輸出幀的畫面會出現(xiàn)明顯的分界。例如視頻采集卡采集復(fù)合視頻信號在PC機(jī)監(jiān)視器上顯示，動態(tài)畫面的分界清晰可辨。
    (2)幀間不同步方法。把不同步局限在幀間的狀態(tài)，當(dāng)一幀輸入數(shù)據(jù)準(zhǔn)備好后，輸出幀不會立即切換到新一幀的視頻數(shù)據(jù)，而是根據(jù)輸出幀自身的時序做出選擇。只有當(dāng)前輸出幀輸出完畢后，才會切換到新一幀的視頻數(shù)據(jù)，保證了輸出的每幅畫面都有一個對應(yīng)的輸入畫面，不會出現(xiàn)2個輸入畫面拼接的狀況。如果一幅輸入畫面平均產(chǎn)生2．4次輸出畫面，那么某些輸入畫面顯示了2次，某些輸入畫面顯示了3次。原來在時間上均勻顯示的輸入畫面，在輸出時不再均勻。當(dāng)輸入畫面中存在勻速運(yùn)動的物體時，在輸出畫面中，物體會出現(xiàn)跳躍式的運(yùn)動。這種顯示效果在大多數(shù)應(yīng)用環(huán)境中肉眼難以覺察，是目前嵌入式圖像處理系統(tǒng)廣泛采用的處理異步視頻的方法。比較第一種方法，硬件設(shè)計(jì)的復(fù)雜度有所提高，但保證了用戶的觀測效果。
    (3)準(zhǔn)同步方法。輸出幀和輸入幀在一段時間上基本對應(yīng)，接近同步的效果。雖然輸入和輸出的幀頻不同，但系統(tǒng)根據(jù)相鄰的輸入幀圖像的變化特點(diǎn)，生成一些中間幀，加入到輸出幀序列中，突出了輸出幀頻提高的顯示效果，能夠保持西面的連續(xù)性。這種方法多用于視頻格式轉(zhuǎn)換系統(tǒng)，其存儲器的空間要滿足幀速率轉(zhuǎn)換算法的要求。某些視聽大屏幕設(shè)備只轉(zhuǎn)換特定的幾種視頻格式，特殊的算法可使存儲器空間最小化，以利于降低成本。
    圖像處理系統(tǒng)面對異步視頻時，非專用于視頻格式轉(zhuǎn)換目的情況下，實(shí)現(xiàn)幀間不同步的輸出效果即可。一般的解決方案是準(zhǔn)備3幀數(shù)據(jù)空間的雙口RAM顯存，無論寫入速度多少，都能夠避免寫入和讀出的沖突。本文設(shè)計(jì)出一種基于DSP+FPGA技術(shù)的嵌入式圖像處理系統(tǒng)，以一種靈活的架構(gòu)避免了顯存的需求，既能夠保證圖像輸出質(zhì)量，又有利于提升圖像處理的性能指標(biāo)。

2 嵌入式圖像處理系統(tǒng)
2. 1 功能架構(gòu)
    通常圖像系統(tǒng)中數(shù)據(jù)流環(huán)節(jié)依次為：輸入接口、FPGA、數(shù)據(jù)緩存、DSP、顯存等。其中顯存中的數(shù)據(jù)以幀為單位切換輸出，兩幀乒乓的方式只能用于同步狀態(tài)。本系統(tǒng)設(shè)計(jì)的功能架構(gòu)如圖1所示，可以把緩存和顯存融合在一起，通過FPGA切換的方式免除數(shù)據(jù)搬運(yùn)的過程。

[!--empirenews.page--]
    可編程邏輯器件(FPGA)將數(shù)字信號處理器(DSP)、4片幀存以及輸入和輸出視頻數(shù)據(jù)流連接起來。依據(jù)功能狀態(tài)，幀存定義為寫入幀、處理幀、讀出幀、緩存幀、廢棄幀，其中緩存幀和廢棄幀不同時存在。寫入幀指該幀存與視頻數(shù)據(jù)輸入流連接，正在存儲輸入的視頻數(shù)據(jù)；處理幀指該幀存與DSP連接，作為DSP的數(shù)據(jù)緩存，供軟件讀寫；讀出幀指該幀存與視頻數(shù)據(jù)輸出流連接，視頻數(shù)據(jù)正在被讀出顯示；緩存幀指處理幀的下一個狀態(tài)，等待被讀出顯示，處于孤立狀態(tài)，廢棄幀指視頻數(shù)據(jù)已經(jīng)完成輸出，等待被新的數(shù)據(jù)寫入，處于孤立狀態(tài)。每一幀視頻數(shù)據(jù)與一片幀存關(guān)聯(lián)，依次經(jīng)歷寫入、處理、緩存、讀出、廢棄的狀態(tài)(不一定是全部的狀態(tài))。FPGA依據(jù)規(guī)則切換4片幀存，循環(huán)往復(fù)。
    嵌入式圖像處理系統(tǒng)的功能分為圖像處理和視頻轉(zhuǎn)換2部分。圖像處理功能主要由DSP實(shí)現(xiàn)，當(dāng)輸入的視頻數(shù)據(jù)成為處理幀時，DSP軟件要在一個輸入幀周期內(nèi)讀入數(shù)據(jù)、執(zhí)行處理算法、用新的數(shù)據(jù)覆蓋幀存(該幀存隨后會讀出顯示)。圖像處理結(jié)果可以從DSP的通訊接口上報，必要時，F(xiàn)PGA也可以完成部分圖像處理算法，減輕軟件負(fù)擔(dān)。視頻轉(zhuǎn)換功能指FPGA對4片幀存的切換來實(shí)現(xiàn)異步視頻的幀間不同步方法。
2．2 切換規(guī)則
    在異步視頻的幀問不同步狀態(tài)下，輸出幀的完整性需要保證，幀存的切換不能只依據(jù)輸入幀的同步信號，還必須考慮輸出幀的同步信號，嵌入式圖像處理系統(tǒng)利用第4片幀存提供時間上的緩沖。幀存共有5種狀態(tài)，任一時刻4片幀存分別對應(yīng)寫入、處理、讀出、緩存(廢棄)，幀存的寫入、處理、緩存狀態(tài)由輸入幀的同步信號觸發(fā)確定，幀存的讀出、廢棄狀態(tài)由輸出幀的同步信號觸發(fā)確定。
2．3 狀態(tài)轉(zhuǎn)換程序設(shè)計(jì)
    設(shè)定4片幀存的初始狀態(tài)見表1。

    幀存的狀態(tài)由兩種同步信號觸發(fā)轉(zhuǎn)換，因此設(shè)定為輸入和輸出兩部分狀態(tài)的組合。
2．3．1 輸入幀頻小于輸出幀頻
    在輸入幀頻小于輸出幀頻的情況下，每一個輸入幀都會被讀出顯示。在每個輸入幀周期中，至少會發(fā)生1次輸出幀同步觸發(fā)事件，第1次輸出幀同步信號觸發(fā)之后，原緩存狀態(tài)的幀存切換到讀出狀態(tài)，原讀出狀態(tài)幀存轉(zhuǎn)換為廢棄狀態(tài)，然后保持不變，直到新的輸入幀同步信號到來。從系統(tǒng)整體分析4片幀存的狀態(tài)轉(zhuǎn)換過程，得出表2的結(jié)果。

    表2顯示系統(tǒng)狀態(tài)轉(zhuǎn)換的一個循環(huán)包含8種情況，由4種輸入和4種輸出組合而成，每種輸出狀態(tài)對應(yīng)一個處于讀出狀態(tài)的幀存。

2．3．2 輸入幀頻大于輸出幀頻
    在輸入幀頻大于輸出幀頻的情況下，一個輸入幀周期內(nèi)，如果接收到輸出幀同步信號，緩存幀會轉(zhuǎn)換為讀出幀，否則會被重新寫入，沒有機(jī)會輸出顯示。幀存的狀態(tài)轉(zhuǎn)換與其原來的狀態(tài)相關(guān)，具有隨機(jī)特性，不宜從系統(tǒng)總體確定狀態(tài)循環(huán)，只能從單個幀存的角度分析狀態(tài)轉(zhuǎn)換規(guī)律。[!--empirenews.page--]
    設(shè)定某幀存輸入部分為寫入、處理、半緩存、無效4種狀態(tài)，輸出部分為讀出、廢棄、無效3種狀態(tài)，二者組合確定該幀存的狀態(tài)，如表3所示。

    單個幀存的狀態(tài)轉(zhuǎn)換流程如圖2所示。

    圖2中X代表廢棄或無效狀態(tài)。某片幀存從寫入狀態(tài)開始，受輸入幀同步信號觸發(fā)后轉(zhuǎn)換為處理狀態(tài)，再次觸發(fā)后轉(zhuǎn)換為半緩存狀態(tài)，期間的輸出幀同步信號不會改變幀存狀態(tài)，只能確定輸出部分為無效狀態(tài)。半緩存狀態(tài)時受輸出幀同步信號觸發(fā)進(jìn)入讀出狀態(tài)(半緩存|讀出)，否則受輸入幀同步信號觸發(fā)返回寫入狀態(tài)。讀出狀態(tài)(半緩存|讀出)不會受輸出幀同步信號的觸發(fā)改變，但接受一次輸入幀同步信號后會成為新的讀出狀態(tài)(無效|讀出)，此時系統(tǒng)有了新的緩存幀，當(dāng)輸出幀同步信號來到后轉(zhuǎn)換為廢棄狀態(tài)，此時新的緩存幀進(jìn)入讀出狀態(tài)，再次受輸入幀同步觸發(fā)后返回寫入狀態(tài)。
    幀存1的狀態(tài)轉(zhuǎn)換源程序如下，其他3片幀存類似。

    

3 結(jié)語
    本文設(shè)計(jì)的以FPGA，DSP和4片幀存為主體的面向異步視頻的嵌入式圖像處理系統(tǒng)，把視頻數(shù)據(jù)緩存和視頻輸出顯存融合在一起，節(jié)省了數(shù)據(jù)傳輸?shù)臅r間。FPGA依據(jù)輸入和輸出幀同步信號切換4片幀存，能夠?qū)崿F(xiàn)異步視頻時幀間不同步狀態(tài)，無需滿足幀頻轉(zhuǎn)換算法對存儲器空間的要求。采用更先進(jìn)的存儲器、DSP、FPGA芯片能夠提高數(shù)據(jù)傳輸速度，擴(kuò)充數(shù)據(jù)存儲空間，加強(qiáng)軟件處理能力，實(shí)現(xiàn)系統(tǒng)整體性能指標(biāo)的升級。本方案已經(jīng)在產(chǎn)品中應(yīng)用，具有嵌入式系統(tǒng)小尺寸、低功耗的優(yōu)點(diǎn)，通過升級能夠滿足更高的技術(shù)要求。