基于DM648+FPGA的圖像處理模塊設(shè)計(jì)與實(shí)現(xiàn)

摘要：介紹了一種基于DM648和FPGA構(gòu)架的圖像處理方案，闡述了圖像處理模塊的組成原理和結(jié)構(gòu)，并對模塊內(nèi)部電路設(shè)計(jì)和FPGA內(nèi)部圖像處理邏輯進(jìn)行了重點(diǎn)介紹。木文設(shè)計(jì)的圖像處理模塊能夠支持對高清視頻圖像的切割、縮放、疊加和切換等算法處理。

隨著數(shù)字化時(shí)代的到來，視頻圖像處理作為數(shù)字化的重要組成部分越來越重要，特別是對高清視頻的處理技術(shù)已經(jīng)成為業(yè)界的研究熱點(diǎn)。本文針對視頻處理技術(shù)的特點(diǎn)提出了一種支持多種視頻輸入輸出接口的視頻圖像處理硬件解決方案。

1 總體結(jié)構(gòu)及硬件設(shè)計(jì)

1.1 總體結(jié)構(gòu)

本文設(shè)計(jì)的圖像處理模塊主要是用于采集目標(biāo)的圖像信息，并經(jīng)過圖像切割、縮放、疊加和切換等算法處理后，通過HDMI接口把圖像數(shù)據(jù)發(fā)送給系統(tǒng)綜合處理模塊，通過CAN總線接口和RS232接口控制外設(shè)和獲取外設(shè)的狀態(tài)信息。圖像處理模塊的主要具體功能如下：接收高清相機(jī)的可見光視頻信息，視頻輸入接口為HDMI接口;接收紅外攝像機(jī)的紅外視頻信息，視頻輸入接口為LVDS接口;通過RS232通信接口接收姿態(tài)傳感器、白光攝像機(jī)和紅外攝像機(jī)等外設(shè)的信息;對可見光視頻或紅外視頻信息進(jìn)行圖像處理，并通過HDMI和PAL-D接口進(jìn)行輸出;通過CAN接口接收系統(tǒng)主控板發(fā)送的控制命令等。圖像處理模塊接口應(yīng)用框圖如圖1所示。

通過分析，圖像處理模塊的主要功能是進(jìn)行多路視頻處理，并且所處理的視頻數(shù)據(jù)量較大，圖像實(shí)時(shí)性要求較高。因此圖像處理模塊的實(shí)現(xiàn)方案采用DSP(DM648)+FPGA的方式，DSP用于實(shí)現(xiàn)復(fù)雜的視頻處理算法，F(xiàn)PGA的使用保證了圖像延時(shí)，也有利于系統(tǒng)功能的擴(kuò)展。圖像處理模塊的系統(tǒng)框圖如圖2所示，該模塊除過DSP+FPGA的核心電路外還包括HDMI、LVDS解碼電路，HDMI、PAL-D編碼電路、單片機(jī)控制電路、CAN以太網(wǎng)等接口電路。

圖像處理模塊主要完成視頻信號(hào)的采樣、切換和傳輸功能，同時(shí)通過CAN總線接口和RS232接口完成通信功能。圖像處理模塊的信息流程如圖3所示，接收1路可見光相機(jī)數(shù)字HDMI視頻信號(hào)和1路紅外相機(jī)數(shù)字灰度視頻信號(hào)，進(jìn)行視頻數(shù)據(jù)預(yù)處理后，送入到視頻切割、切換和疊加等處理單元，處理后的視頻數(shù)據(jù)進(jìn)入到視頻數(shù)據(jù)發(fā)送單元后通過1路模擬PAL-D接口和1路數(shù)字HDMI接口發(fā)送出去。1路模擬PAL-D接口和1路數(shù)字HDMI接口顯示內(nèi)容相同。接收和發(fā)送4路R$232數(shù)據(jù)和1路CAN數(shù)據(jù)。

1.2 視頻解碼電路設(shè)計(jì)

可見光相機(jī)HDMI視頻解碼電路完成1路HDMI輸入視頻的解碼，將解碼之后符合高清格式的YCrCb信號(hào)送入FPGA，由FPGA實(shí)現(xiàn)其它視頻處理功能?？梢姽庀鄼C(jī)HDMI視頻解碼電路圖如圖4所示，采用1片ADV7441來完成視頻解碼功能。

紅外相機(jī)LVDS視頻解碼電路完成1路LVDS輸入視頻的解碼，將解碼之后的YCrCb信號(hào)送入FPGA，由FPGA實(shí)現(xiàn)其它視頻處理功能。紅外相機(jī)LVDS視頻解碼電路圖如圖5所示，采用1片National Semiconductor公司的DS90CR286AMTD來完成視頻解碼功能。

1.3 視頻編碼電路設(shè)計(jì)

HDMI視頻發(fā)送電路完成1路HDMI視頻的發(fā)送，將FPGA之后的YCrCb信號(hào)送入HDMI發(fā)送芯片，把并行數(shù)字視頻編碼成串行差分的TMDS物理鏈路信號(hào)。HDMI視頻發(fā)送電路圖如圖6所示，采用1片AD公司的ADV7513來完成數(shù)字視頻的編碼與發(fā)送功能。

PAL-D視頻發(fā)送電路完成1路模擬PAL-D視頻的發(fā)送，將FPGA之后的YCrCb信號(hào)送入PAL-D發(fā)送芯片，把并行數(shù)字視頻編碼成復(fù)合模擬PAL-D視頻信號(hào)。PAL-D視頻發(fā)送電路圖如圖7所示，采用1片國騰公司的GM7121來完成數(shù)字視頻的編碼與發(fā)送功能。

1.4 DM648+FPGA核心電路設(shè)計(jì)

由于該圖像處理模塊要完成一些復(fù)雜的圖像處理算法，因此對圖像處理器的性能要求較高，本設(shè)計(jì)的DSP處理器選用了DM648處理器，DM648是TI公司為圖像處理應(yīng)用開發(fā)的一款高性能低功耗處理器，它集成了5個(gè)可配置的視頻輸入輸出端口和圖像協(xié)處理器，處理器主頻高達(dá)1.1GHz FPGA芯片選用的是XILINX公司的SPARTAN-6系列中的XC6SLX100，該系列FPGA具有容量大、高性能、低功耗和低成本等優(yōu)點(diǎn)，在圖形圖像處理中有比較廣泛的應(yīng)用。

該圖像處理模塊的主要是通過FPGA完成視頻的格式轉(zhuǎn)換、切割、縮放、疊加等圖像預(yù)處理功能，通過DM648來完成視頻的增強(qiáng)、識(shí)別、拼接等復(fù)雜算法功能。如圖2所示，視頻進(jìn)入模塊后，首先進(jìn)行解碼，然后進(jìn)入FPGA進(jìn)行預(yù)處理，F(xiàn)PGA處理完成后通過視頻口進(jìn)入DM648，在DM648中完成復(fù)雜算法的圖像處理功能，處理完成后通過視頻口再輸出給FPGA，在FPGA中完成視頻格式轉(zhuǎn)換等功能進(jìn)行編碼輸出。下文將對FPGA內(nèi)部的處理邏輯進(jìn)行重點(diǎn)介紹。

2 FPGA視頻處理邏輯設(shè)計(jì)

FPGA邏輯結(jié)構(gòu)功能框圖如圖8所示?？梢姽庀鄼C(jī)數(shù)字視頻解碼后的圖像信號(hào)時(shí)序?yàn)榉细咔逡?guī)范的16bit顏色深度的YCrCb信號(hào)。紅外相機(jī)數(shù)字視頻解碼后的圖像信號(hào)時(shí)序?yàn)榛赑AL-D的時(shí)序，但在全行像素由768減少到384。可見光和紅外的視頻數(shù)據(jù)經(jīng)過FIFO緩存后存儲(chǔ)在SRAM中，然后在FPGA中進(jìn)行預(yù)處理、切割、融合和切換后，送入到DM648的視屏接口，DM648對接收的圖像數(shù)據(jù)進(jìn)行用戶指定的算法處理后，通過視頻時(shí)序控制邏輯輸出到HDMI視頻發(fā)送器和PAL-D發(fā)送器。

可見光相機(jī)高清HDMI視頻為1920×1080P/25FPS，16位數(shù)據(jù)信號(hào)，時(shí)鐘頻率74.25MHz，數(shù)據(jù)速率為1.118Gbps，其視頻緩存SRAM的總線數(shù)據(jù)位32位，時(shí)鐘最高167MHz，本項(xiàng)目設(shè)計(jì)工作頻率為74.25MHz，數(shù)據(jù)速率為2.376Gbps，是HMDI接口數(shù)據(jù)速率的2倍，可以滿足視頻讀寫緩存的要求。紅外相機(jī)的視頻最終轉(zhuǎn)換成1路PAL視頻，用一片SRAM完全可以滿足其緩存要求。

3 結(jié)束語

基于DM648+FPGA構(gòu)架的圖像處理模塊兼有兩種信號(hào)處理芯片的優(yōu)越性，有效提高了視頻處理的復(fù)雜度和速度，增強(qiáng)了視頻處理性能，并且具有技術(shù)穩(wěn)定成熟、模塊體積小、功耗低等優(yōu)點(diǎn)。在后續(xù)的研究中將深入對基于DM648的圖像處理算法進(jìn)行重點(diǎn)研究，改進(jìn)算法性能，進(jìn)一步提高模塊的視頻處理能力。