基于多DSP和FPGA的實(shí)時雙模視頻跟蹤裝置設(shè)計(jì)

1、引言

　　隨著現(xiàn)代高速處理器的迅猛發(fā)展，圖像處理技術(shù)也日益成熟。其中，移動目標(biāo)的視頻檢測與跟蹤是圖像處理、分析應(yīng)用的一個重要領(lǐng)域，是當(dāng)前相關(guān)領(lǐng)域的研究前沿。移動目標(biāo)視頻檢測與跟蹤技術(shù)，在機(jī)器人視覺、交通監(jiān)測、可視預(yù)警、機(jī)器導(dǎo)航等民用領(lǐng)域有著廣泛的應(yīng)用，同時在火力攔截、導(dǎo)彈電視和紅外視頻制導(dǎo)等軍用方面也發(fā)揮著重要作用。基于二維轉(zhuǎn)臺以DSP和FPGA為核心器件構(gòu)成的視頻識別和跟蹤裝置，可工作于電視圖像或紅外兩個波段，實(shí)現(xiàn)圖像跟蹤各項(xiàng)功能。本文提出的跟蹤算法與設(shè)計(jì)的跟蹤裝置可在一定程度上解決視頻跟蹤精度低、處理速度慢的問題，同時本視頻跟蹤裝置也可作為進(jìn)一步研究圖像處理與跟蹤控制的平臺。

　　2、視頻跟蹤裝置的硬件設(shè)計(jì)

　　圖像處理最主要的是實(shí)時性、可靠性和精確度。針對圖像處理速度慢的問題，考慮從硬件和和軟件兩方面解決：一是選擇高速的DSP和FPGA為核心器件；二是從平衡圖像處理的實(shí)時性和效果中選擇最優(yōu)的圖像處理算法。針對圖像跟蹤可靠性問題，采用雙模式復(fù)合制導(dǎo)，由處理器根據(jù)信號的置信度來選擇跟蹤模式。針對圖像形心跟蹤算法的精度問題，采取基于去圖像陰影的圖像跟蹤算法。

　　2.1 視頻跟蹤裝置的圖像信號處理模塊硬件組成

　　為達(dá)到實(shí)時處理圖像信號信息，我們選擇3片高速DSP作為核心處理器。其中用作信息融合的是TMS320C6416，在跟蹤模塊中，使用了兩片相對價格低廉一些的TMS320C6201實(shí)現(xiàn)并行圖像跟蹤算法。配合DSP工作的外圍邏輯電路，我們采用xlinix公司的XCV400E型FPGA，同時實(shí)現(xiàn)部分的圖像預(yù)處理功能。

　　本視頻跟蹤裝置的圖像信號處理模塊主要硬件構(gòu)成如圖1所示：以電視圖像波段為例，圖像采集模塊的傳感器是面陣CCD攝像機(jī)，用來采集視頻圖像信息。A/D轉(zhuǎn)換將拍攝到的模擬圖像信號轉(zhuǎn)為8位數(shù)字信號送FPGA處理，同步信號接受攝像機(jī)的行同步和場同步信號也送入FPGA。一部分處理的結(jié)果直接經(jīng)D/A轉(zhuǎn)換器送監(jiān)視器顯示。SDRAM數(shù)據(jù)存儲區(qū)存儲背景圖像數(shù)據(jù)。一路在FPGA進(jìn)行背景差分、4×4滑動平均、去陰影后形成的移動目標(biāo)信號濾波后送到其中一塊TMS320C6201執(zhí)行基于分割的改進(jìn)型形心跟蹤算法，另一路則經(jīng)過濾波后送入另一片TMS320C6201執(zhí)行相關(guān)跟蹤算法，然后由決策融合模塊的TMS320C6416根據(jù)兩路信號的置信度來選擇跟蹤模式，達(dá)到并行雙模式圖像復(fù)合跟蹤。最后將目標(biāo)位置信號進(jìn)行轉(zhuǎn)化后輸送到運(yùn)動控制器控制二維轉(zhuǎn)臺對移動目標(biāo)進(jìn)行實(shí)時跟蹤。 [!--empirenews.page--]

　　2.2視頻跟蹤裝置運(yùn)動控制模塊的硬件組成

　　運(yùn)動控制模塊硬件由GPT轉(zhuǎn)臺構(gòu)成。GPT系列轉(zhuǎn)臺為模擬火炮或雷達(dá)跟蹤系統(tǒng)的旋轉(zhuǎn)運(yùn)動系統(tǒng)，它包含電控箱、兩維數(shù)控轉(zhuǎn)臺本體及運(yùn)動控制器三大部分。轉(zhuǎn)臺本體主要由機(jī)械結(jié)構(gòu)件（含PAN和TILT）、驅(qū)動用交流伺服電機(jī)（兩套）、諧波減速器、斜齒輪、限位開關(guān)等部分組成。電控箱內(nèi)安裝有交流伺服驅(qū)動器、I/O接口板、開關(guān)電源、開關(guān)、指示燈和電氣元件等主要部件。運(yùn)動控制器主要由GT-400-SV運(yùn)動控制卡、GM-400-SV運(yùn)動控制卡用戶接口軟件等部分組成。作為機(jī)電控制系統(tǒng)的核心組成部分，GPT轉(zhuǎn)臺可用作監(jiān)控設(shè)備的基礎(chǔ)運(yùn)動平臺，又可作為研制火箭、導(dǎo)彈、魚雷和衛(wèi)星等高科技尖端武器的仿真和試驗(yàn)平臺。該系統(tǒng)可實(shí)現(xiàn)：定位精度：±0.0069°；重復(fù)精度：±0.00056°；速度：0.01～90°/sec；加速度：90°/sec2；行程：Pan方向?yàn)椤?76°；Tilt方向?yàn)?15°～+50°；負(fù)載：30kg。

　　3、視頻跟蹤裝置算法的分析

　　按照處理順序，我們將整個過程分解為圖2所示。圖像采集模塊：對視頻圖像進(jìn)行A/D轉(zhuǎn)換，形成原始的256級灰度圖像，作為待處理的圖像信息。背景差分模塊：重建背景，并完成與當(dāng)前幀的差分。在背景重建時采用基于最小二乘法的時域遞推公式來完成，這個方法只需要一幀圖像的存儲，而且可以用遞推實(shí)現(xiàn)。去噪聲模塊:做應(yīng)用鄰域平均法實(shí)現(xiàn)圖像平滑濾波，以及采用顏色濾波法去除陰影等工作。以上算法都是針對FPGA的特點(diǎn)提出的，將FPGA設(shè)計(jì)成專用運(yùn)算器并實(shí)現(xiàn)算法。

　　形心跟蹤模塊和相關(guān)跟蹤模塊分別使用的形心投影方法和二維最小絕對差累加和算法計(jì)算目標(biāo)的位置，融合決策模塊實(shí)現(xiàn)置信度選擇，同時對目標(biāo)信號進(jìn)行擬合和軌跡外推，實(shí)現(xiàn)目標(biāo)在偶然丟失下的預(yù)測跟蹤，以及深度丟失下的跟蹤狀態(tài)轉(zhuǎn)換和搜索狀態(tài)下控制二維轉(zhuǎn)臺對視場的慢速掃搜。這部分針對DSP的特點(diǎn)，采用C語言編程實(shí)現(xiàn)。

　　3.1主要算法特點(diǎn)分析

　　（1）背景差分法算法

　　背景差分是利用當(dāng)前圖像與背景圖像差分來檢測出運(yùn)動區(qū)域的一種技術(shù)，一般能提供最完全的特征數(shù)據(jù)，但對于動態(tài)場景的變化，如光照等事件的干擾特別敏感?？紤]到攝像機(jī)移動緩慢，背景圖像變化比較遲緩，而運(yùn)動對象相對于背景變化較快，這樣相對于變化較慢的背景圖像來說，可把運(yùn)動對象看作是一個對背景圖像的隨機(jī)擾動。針對本裝置的設(shè)計(jì)要求，我們應(yīng)用Kalman濾波器在零均值白噪聲的退化公式即漸消記憶遞歸最小二乘法，來更新和重建背景圖像，得到時域漸消遞歸最小二乘法的遞歸式：

　　（2）顏色濾波去陰影算法

　　如果圖像中具有運(yùn)動陰影和分割碎塊，分割所得的圖像往往與實(shí)際目標(biāo)不符，產(chǎn)生欠分割或過分割的現(xiàn)象。由于陰影象素的灰度值在一個局部領(lǐng)域中變化不是很大，所以顏色濾波主要是構(gòu)造一個包含陰影的模板，再用這個模板與差分結(jié)果做邏輯與的操作，從而檢出陰影。本算法比較簡單，執(zhí)行速度快，處理中不需要區(qū)分陰影和半陰影，而且可以將移動陰影和背景中的陰影都檢出來，只是模板中的參數(shù)要根據(jù)現(xiàn)實(shí)情況和經(jīng)驗(yàn)來定。由于靜止物體的陰影也是不動的，所以靜止目標(biāo)可以歸入背景中。由公式（2）可檢測出動目標(biāo)。


　　（3）形心跟蹤算法

　　形心跟蹤是將整個跟蹤波門內(nèi)的圖像二值化，用求目標(biāo)形心的辦法獲得目標(biāo)位置參量。由于形心值是相對于目標(biāo)面積歸一化的值，因此形心值不受目標(biāo)面積、形狀以及灰度分布細(xì)節(jié)的限制。同時，形心跟蹤的計(jì)算頗為簡便。但是，形心跟蹤器受目標(biāo)的劇烈運(yùn)動或目標(biāo)被遮擋的影響較為嚴(yán)重，瞄準(zhǔn)點(diǎn)漂移是遠(yuǎn)距離跟蹤系統(tǒng)的主要誤差之一。這也是我們采用目標(biāo)軌跡擬合算法來外推運(yùn)動目標(biāo)位置，并與相關(guān)跟蹤法并行工作的原因。由于形心算法比較普及，本跟蹤裝置直接采用了改進(jìn)的形心跟蹤算法，用目標(biāo)峰值自適應(yīng)檢測算法使系統(tǒng)的計(jì)算可靠性和實(shí)時性達(dá)到最佳結(jié)合值。

　?。?）相關(guān)跟蹤算法

　　相關(guān)跟蹤是對目標(biāo)圖像和輸入圖像進(jìn)行相關(guān)運(yùn)算，通過對搜索區(qū)域每次運(yùn)算結(jié)果進(jìn)行處理獲取相關(guān)峰值，從而確定目標(biāo)在輸入圖像的位置。在圖像目標(biāo)背景比較復(fù)雜以及背景與目標(biāo)無明顯灰度差的場合，相關(guān)跟蹤具有較好的抗干擾能力，可以應(yīng)付一定的形變和灰度畸變，能對復(fù)雜場景中的指定目標(biāo)進(jìn)行穩(wěn)定跟蹤，并對目標(biāo)交叉遮擋有較好的記憶效果，因此我們采用基于二維最小絕對差累加和算法的相關(guān)匹配算法進(jìn)行圖像特征識別，相似性度量為：

[!--empirenews.page--]
　　（5）雙模式組合算法[6] 

          表1 兩種模式優(yōu)缺點(diǎn)比較

　　如表1所示，由于形心跟蹤和相關(guān)跟蹤各有優(yōu)缺點(diǎn)，具有較大的互補(bǔ)性[7] 。采用形心跟蹤算法的DSP和相關(guān)匹配跟蹤算法的DSP同時工作，按照各自的圖像分割方法分割出目標(biāo)和背景，抽取目標(biāo)的特征，輸出目標(biāo)的跟蹤信息。最后在主控的TMS320c6416進(jìn)行檢查，把相關(guān)匹配跟蹤模式中采用相關(guān)峰值的相關(guān)度函數(shù)構(gòu)造的目標(biāo)位置置信度和形心跟蹤模式的置信度進(jìn)行置信度判決，從而決定選擇跟蹤控制信號，同時對不適當(dāng)?shù)母櫮K進(jìn)行重新裝定。

　?。?）目標(biāo)暫時丟失下目標(biāo)軌跡外推算法

　　在跟蹤目標(biāo)的過程中，目標(biāo)在視場中可能會被短時遮擋而丟失；另外當(dāng)目標(biāo)在視場中停留，則目標(biāo)可能融入背景，也會出現(xiàn)目標(biāo)丟失的現(xiàn)象。針對這兩種情況，當(dāng)目標(biāo)短時遮擋，根據(jù)存儲記憶以前各幀和本幀的目標(biāo)信息，采用微分線性擬合外推方法預(yù)測下一時刻目標(biāo)的位置。而當(dāng)目標(biāo)在視場停留時，首先按目標(biāo)被遮擋處理，當(dāng)外推有限步，或是外推到接近邊界時目標(biāo)仍未出現(xiàn)時，則確定該目標(biāo)在視場停留，標(biāo)記停留位置，當(dāng)目標(biāo)再次出現(xiàn)時繼續(xù)完成跟蹤。

　　4、系統(tǒng)工作狀態(tài)分析

　　為實(shí)現(xiàn)使自動有序的跟蹤，我們確定系統(tǒng)各個跟蹤狀態(tài)和各狀態(tài)之間的轉(zhuǎn)換條件。

　　本系統(tǒng)跟蹤狀態(tài)有四種：

　　S0 搜索狀態(tài) 發(fā)生在系統(tǒng)初始工作或目標(biāo)完全丟失階段。

　　S1 捕獲狀態(tài) 系統(tǒng)處于發(fā)現(xiàn)目標(biāo)狀態(tài)。

　　S2 正常跟蹤狀態(tài) 系統(tǒng)處于對目標(biāo)的正常跟蹤中。

　　S3 預(yù)測跟蹤 目標(biāo)偶爾丟失時，系統(tǒng)通過自學(xué)習(xí)對當(dāng)前目標(biāo)進(jìn)行預(yù)測跟蹤，并試圖再捕獲目標(biāo)。

　　本系統(tǒng)轉(zhuǎn)換條件有三種：

　　C1目標(biāo)截獲。

　　C2目標(biāo)偶然丟失，指目標(biāo)瞬間丟失，其運(yùn)動仍具有可預(yù)測性。

　　C3目標(biāo)深度丟失，指目標(biāo)丟失一段時間，其運(yùn)動不可預(yù)測

　　系統(tǒng)狀態(tài)轉(zhuǎn)換情況如圖3所示。在視頻跟蹤裝置啟動并初始化后，進(jìn)入搜索狀態(tài)S0，系統(tǒng)按照一定的掃搜規(guī)律進(jìn)行搜索；當(dāng)形心跟蹤模塊發(fā)現(xiàn)移動目標(biāo)，則進(jìn)入捕獲狀態(tài)S1；由相關(guān)跟蹤模塊對目標(biāo)進(jìn)行識別，確認(rèn)后進(jìn)入正常跟蹤狀態(tài)S2；當(dāng)目標(biāo)偶爾丟失時，系統(tǒng)通過自學(xué)習(xí)對當(dāng)前目標(biāo)進(jìn)行預(yù)測跟蹤，并試圖再捕獲目標(biāo)，進(jìn)入預(yù)測跟蹤狀態(tài)S3；如果目標(biāo)完全丟失，則改變搜索策略，重新再搜索，以便有可能再次捕獲目標(biāo)。

　　5、結(jié)論

　　本視頻跟蹤裝置在設(shè)計(jì)上能完成對移動目標(biāo)的檢測和跟蹤，初步實(shí)驗(yàn)結(jié)果表明采用基于DSP和FPGA的硬件實(shí)現(xiàn)算法使系統(tǒng)的實(shí)時性能得到很大提高。雙模式的圖像跟蹤算法使系統(tǒng)適合多種背景下的移動目標(biāo)跟蹤，自適應(yīng)能力強(qiáng)，抗干擾性能好，具有鎖定目標(biāo)短暫丟失后的再次捕獲能力，提高了跟蹤的可信度。但本設(shè)計(jì)擬在下面兩個方面作進(jìn)一步的研究。一是考慮本裝置的軍事應(yīng)用背景，需要目標(biāo)，尤其是遠(yuǎn)方目標(biāo)有相對較高的速度才能觸發(fā)系統(tǒng)捕獲,因此沒有考慮攝像頭自身跟蹤時的運(yùn)動補(bǔ)償[8]。否則，必須加入攝像機(jī)運(yùn)動估計(jì)和補(bǔ)償；二是對移動目標(biāo)的識別能力還需加強(qiáng)，在設(shè)定特定跟蹤目標(biāo)上，尤其是跟蹤到多個移動目標(biāo)時，不具備區(qū)分的能力，需要改進(jìn)到能識別設(shè)定中的跟蹤目標(biāo)并完成對設(shè)定目標(biāo)的跟蹤。