基于DM6446的視頻運動車輛檢測系統(tǒng)

摘 要： 給出了一種基于DM6446 處理器的視頻運動車輛檢測系統(tǒng)的技術(shù)實現(xiàn)方法，介紹了系統(tǒng)的硬件結(jié)構(gòu)及軟件設(shè)計思路。結(jié)合DM6446 雙核處理器的特點，給出了處理器ARM 端與DSP 端通信及雙緩沖區(qū)切換的具體方法。在視頻運動車輛檢測算法上，采用差異積累法對DM6446 實時獲取的交通視頻數(shù)據(jù)進行背景建模，用背景差法檢測車輛運動區(qū)域，再結(jié)合Otsu 閾值化、形態(tài)學(xué)濾波及區(qū)域生長等算法，最終在DM6446 硬件平臺上實現(xiàn)視頻運動車輛的實時檢測。實驗結(jié)果表明，該系統(tǒng)具有良好檢測效果。

　　隨著現(xiàn)代交通運輸業(yè)的快速發(fā)展，道路上的車輛日益增多，而伴隨而來的交通擁堵、道路使用效率不高等問題卻給日常交通管理帶來了重重困難。融合了計算機、電子等現(xiàn)代高新科技的智能交通系統(tǒng)（ITS:Intelligent Transport System）提供了解決方法。

　　運動車輛檢測是ITS 的重要組成部分，本文探討了以TI 的TMS320DM6446（簡稱DM6446）為嵌入式開發(fā)平臺的交通視頻信息采集和處理系統(tǒng)的設(shè)計，通過分析實時交通視頻序列，采用差異積累背景建模、Otsu 自動閾值選取、形態(tài)學(xué)濾波及區(qū)域生長定位等技術(shù)，最終實現(xiàn)交通場景視頻運動車輛的檢測。

　　1 系統(tǒng)硬件構(gòu)成

　　本系統(tǒng)選用的TMS320DM6446 是基于ARM926 和TMS320C64x+兩個核心的、高度集成的數(shù)字媒體處理器。ARM926EJ-S 采用管道化流水線可以執(zhí)行32bit/16bit 指令集，并提供了獨立的16KB的指令Cache 和8KB 的數(shù)據(jù)Cache,可有效控制和管理外部中斷、各種接口及外設(shè)。TMS320C64x+屬TMS320C6000 系列高性能的定點DSP 處理器，集成了64 個32 位通用寄存器和8 個功能單元，硬件支持塊循環(huán)操作，采用二級Cache 結(jié)構(gòu)：L1 程序/數(shù)據(jù)Cache 和L2 存儲/Cache.ARM 和DSP 共享外部256MB DDR SDRAM 存儲器，64MB NAND Flash用于存放ARM 和DSP 代碼。

　　系統(tǒng)硬件平臺還包含視頻處理子系統(tǒng)（VPSS）和眾多外設(shè)資源。VPSS 是DM6446 中專門負責視頻輸入輸出的硬件模塊，由視頻處理前端（VPFE）和視頻處理后端（VPBE）組成，系統(tǒng)模擬視頻信號經(jīng)由TVP5150解碼器解碼成YUV422 格式的視頻數(shù)據(jù)后傳送給VPFE 的CCD 控制器，然后通過EMIF 接口將暫存在VPSS 內(nèi)部Buffer 中的數(shù)據(jù)傳送到外部DDR SDRAM中。VPBE 的屏幕顯示（OSD）模塊將視頻數(shù)據(jù)以YCbCr形式提交給視頻編碼器（VENC），通過視頻編碼器輸出到VGA 或CVBS 接口。本文處理系統(tǒng)的硬件拓撲結(jié)構(gòu)如圖1 所示。

圖1 DM6446 系統(tǒng)平臺硬件結(jié)構(gòu)示意圖

　　2 系統(tǒng)軟件設(shè)計

　　圖2 示意了系統(tǒng)硬件平臺軟件處理模塊的組成結(jié)構(gòu)。如圖2 所示，軟件部分主要完成3 個任務(wù)：圖像的采集與存放、ARM 與DSP 通信和視頻圖像處理。

圖2 DM6446 系統(tǒng)平臺軟件模塊構(gòu)成框圖。

　　ARM 端負責初始化系統(tǒng)并控制數(shù)據(jù)的采集和存放。系統(tǒng)初始化時VPSS 被配置為場模式，VPFE 負責將采集到的視頻數(shù)據(jù)連續(xù)傳送到內(nèi)存緩沖區(qū)。由于ARM 端在向內(nèi)存中存放圖像時DSP 端不能同時讀取，為了保證數(shù)據(jù)處理的正確性，本文采用雙緩沖機制，即：設(shè)定兩個各自連續(xù)的幀緩沖區(qū)VIDEO BUF0 和video BUF1,視頻數(shù)據(jù)交替的向這兩個區(qū)域緩沖刷新。

　　ARM 與DSP 兩核之間的通訊通過內(nèi)存共享和中斷的方式實現(xiàn)。ARM 通過寄存器ARM2DSP0 向DSP發(fā)出中斷信號，DSP 使用寄存器DSP2ARM0 給ARM發(fā)送中斷信號。發(fā)中斷的一方在中斷信號發(fā)出前向共享內(nèi)存填寫命令，接收中斷的一方在中斷函數(shù)中讀取命令，其他模塊按照當前的命令執(zhí)行相應(yīng)任務(wù)。

　　視頻圖像的處理在DSP 核上進行，采集到的視頻圖像數(shù)據(jù)為YUV422 格式，算法處理時僅讀取視頻數(shù)據(jù)的Y 分量，緊接將視頻數(shù)據(jù)進行差異積累背景建模、運動區(qū)域檢測等操作以實現(xiàn)對視頻序列運動目標的檢測。最后DSP 負責將檢測完的視頻數(shù)據(jù)存放至固定顯示緩存區(qū)，由VPBE 讀取后顯示。

3 視頻運動目標檢測算法設(shè)計

　　在獲得視頻數(shù)據(jù)后，需進一步對視頻運動目標進行檢測（運動車輛）。對固定相機的應(yīng)用場合，一般采用背景差技術(shù)檢測視頻運動目標，而背景差法又受背景建模效果的約束。目前存在如基于光流場、目標模型以及差分圖像等多種視頻運動目標檢測方法?；诠饬鲌龅哪繕藱z測法對噪聲敏感、計算量大，導(dǎo)致算法實時性較差?；谀繕四Ｐ偷臋z測方法一般須建立目標的三維模型，再將模型投影至二維平面，再在圖像中進行匹配?；诓罘謭D像的檢測方法較為常用，可分為鄰幀差和背景差兩種方法，背景差法是視頻運動目標檢測中的流行方法。本文即采用背景差法對目標運動區(qū)域進行檢測，本文針對嵌入式應(yīng)用，從檢測算法的處理效率出發(fā)，場景背景模型的獲取采用文獻[4]所述的基于差異積累的背景建模法。對視頻運動目標進行檢測主要經(jīng)過四個步驟：差異積累背景建模、運動區(qū)域檢測、形態(tài)學(xué)濾波和區(qū)域生長法視頻運動目標定位。

　　3.1 差異積累背景建模

　　差異積累背景建模法首先要建立差異圖像，設(shè)差異圖像為F（i,j,t），當前視頻幀為f（i,j,tc），基準幀為f（i,j,tb）， 則由當前幀與基準幀比對可以得到一幅差異圖像，可表示為公式（1）：

　　這里的Tf 是一個特定的門限，決定著差異的程度。

　　若兩幅圖像間灰度差在其坐標上有較大的不同時，F(xiàn)（i,j,t）的值被賦為1,否則為0.這樣可以生成一個像素值為0 或1,大小與輸入圖像一致的圖像矩陣，稱為差異圖像?，F(xiàn)在考慮一組m 幀視頻序列{f（i,j,t1），f（i,j,t2）， …， f（i,j,tm）},本文選取視頻的第f（i,j,tc-3）幀作為基準幀，系統(tǒng)初始化時將讀取的第一幀視頻數(shù)據(jù)賦予基準幀，基準幀隨著視頻的輸入不斷迭代，程序?qū)崿F(xiàn)時可按如下方式進行迭代：

　　差異圖像描述了視頻圖像中物體的運動，若在連續(xù)圖像序列中存在相對穩(wěn)定的非運動區(qū)域則可考慮作為背景。差異圖像矩陣隨視頻幀變化而不斷改變，根據(jù)差異圖像每個像素值的變化程度可以得到一個差異積累動態(tài)矩陣D（i,j,t）。 如公式（2）所示：

　　λ記錄每個像素差異積累的深度，動態(tài)矩陣的單元數(shù)量和高寬比例與差異圖像矩陣相同，當差異圖像某位置處的值為0時使動態(tài)矩陣相同位置處的計數(shù)器加1,這種計數(shù)器在動態(tài)矩陣每個單元位置各有一個。在對視頻序列連續(xù)處理過程中，若動態(tài)矩陣元素的計數(shù)器值等于λ時，就認為對應(yīng)位置的像素灰度值在規(guī)定范圍內(nèi)無變化，可以作為背景像素。

　　背景的更新采用加權(quán)平均法，設(shè)更新前背景為Bold（i,j,t），新背景為Bnew（i,j,t），結(jié)合系數(shù)利用公式（3）可獲得當前更新的背景。應(yīng)用場景的背景會隨著新視頻幀的輸入而不斷進行自動更新，圖3 示意了差異積累法的背景更新效果。

圖3 差異積累背景建模過程示意圖

　　3.2 運動區(qū)域檢測

　　在獲得背景模型后，采用背景差法即可獲得背景差圖，設(shè)背景差圖為Bd（i,j,t），則有：

　　對背景差圖做二值化處理即可獲得視頻運動車輛區(qū)域。本文二值化閾值選取采用文獻[5]的Otsu 法（最大類間方差法）。Otsu 法根據(jù)圖像的灰度特性，將圖像分成前景和背景兩部分。前景和背景之間的類間方差越大，說明構(gòu)成圖像的兩部分差別越大，當部分前景錯分為背景或部分背景錯分為前景時都會導(dǎo)致兩部分差異變小，因此，使類間方差最大的分類意味著錯分概率最小，選取使類間方差最大和類內(nèi)方差最小的圖像灰度值作為最佳閾值。[!--empirenews.page--]

　　3.3 形態(tài)學(xué)濾波

　　僅對背景差圖像做二值化處理是不夠的，在二值圖中可能出現(xiàn)因錯判而導(dǎo)致的空洞和細小的噪聲，須進一步經(jīng)形態(tài)學(xué)濾波處理以連接相關(guān)區(qū)域和去噪，具體的操作是腐蝕和膨脹。腐蝕的作用是從二值圖像中消除不相關(guān)的細節(jié)，膨脹可以使裂縫橋接起來。先腐蝕后膨脹的過程具有消除細小物體，在纖細點處分離物體和平滑較大的邊界時又不明顯地改變其面積的作用。先膨脹后腐蝕的過程具有填充物體內(nèi)部細小空洞、連接鄰近物體、在不明顯改變面積的情況下平滑其邊界的作用。本文中選擇3×3 像素大小的結(jié)構(gòu)元素先后對二值圖進行腐蝕和膨脹操作。

3.4 區(qū)域生長法目標定位

　　定位是指獲取視頻運動目標的空間位置，本文采用區(qū)域生長法對目標進行位置標記。區(qū)域生長法（Region Growing）是一種有效的圖像分割算法，算法將有相似性質(zhì)的像素或子區(qū)域集合起來構(gòu)成區(qū)域并不斷擴大區(qū)域范圍?；痉椒ㄊ且砸唤M種子點開始將與種子性質(zhì)相似的相鄰像素附加到生長區(qū)域的每個種子上，逐步構(gòu)成區(qū)域，在沒有像素滿足加入某個區(qū)域的條件時停止生長。種子點的自動選擇應(yīng)滿足3 條準則：

　?、?種子與其鄰域必須有高相似度；② 在想得到的區(qū)域內(nèi)，至少要能產(chǎn)生一顆種子；③ 不同區(qū)域的種子不能連接。

　　經(jīng)形態(tài)學(xué)濾波處理后，二值圖的視頻運動車輛區(qū)域有了較好的空域連通性，采用區(qū)域生長法進行定位的目的就是要確定出前景目標區(qū)域并給予標記。本文對前景區(qū)域采用矩形框進行標記：在四鄰域連通區(qū)域內(nèi)尋找坐標的最大值max（x,y）和最小值min（x,y），據(jù)此在圖像中繪制白色直線段并連接成矩形框。區(qū)域生長法目標定位可簡單總結(jié)為以下4 個步驟[4]:

　　① 將標記矩陣C（x,y,tk）初始化為待標記的二值圖像（設(shè)種子點灰度值為255）；② 根據(jù)種子點灰度值逐行掃描C（x,y, tk）圖像，若搜索到符合條件的像素點則以其為中心檢查鄰域像素，滿足合并條件的鄰域像素坐標壓入堆棧，并設(shè)置為背景點；③ 利用步驟②的前景點位置坐標得到目標矩形框位置坐標（xman,yman）、（xmax,ymax），矩形框坐標入棧，返回②；④ 逐個取出矩形框位置坐標，進行矩形框繪制。

　　4 實驗結(jié)果與分析

　　為進一步說明本文基于DM6446 實時視頻運動車輛檢測系統(tǒng)的實際檢測效果，本文針對不同交通視頻序列進行了檢測實驗。由于不便在實際交通現(xiàn)場進行效果測試，實驗時使用"新浪S008"DVD 機提供視頻輸入信號，DVD 機播放指定的交通視頻序列。DVD 的輸出通過AV 線連接到視頻板的復(fù)合視頻信號接口，處理結(jié)果由連接在VGA 口的液晶顯示器顯示。本文共用到3組視頻序列： Highway 、Video.long.mjpg 和Hzhighway.其中Highway 來自http://cvrr.ucsd.

　　edu/aton/testbed/,video. long.mjpg 為劉瑞禎編寫的《OpenCV 教程：基礎(chǔ)篇》光盤所提供的測試序列，Hzhighway 為自拍視頻序列。

　　圖4（a）~（d）示意了在DM6446 上進行視頻運動目標檢測的處理流程。圖5（a）、（b）和（c）分別給出了對Highway、Video.long.mjpg 及Hzhighway 各視頻測試序列的運動車輛進行檢測的效果。

　　Highway 背景較為簡單，車輛都處于運動狀態(tài)且行進方向與攝像機鏡頭朝向相同，檢測效果較好，雖然存在少量連體問題，但基本定位準確，如圖5（a）所示，可以看到白色矩形框?qū)④囕v包含在其中，并隨著車輛遠離攝像機而逐漸縮小。

　　Video.long.mjpg 取景范圍較小，同時車輛行駛速度較快，有時不能完整框住車輛。在自拍序列Hzhighway 中車輛定位準確但有時存在矩形框不能框住單一車輛和大小不穩(wěn)定的情況，如圖5（c）所示。經(jīng)過綜合分析得到如下結(jié)論：① 倘若背景更新速度不夠快，易導(dǎo)致當停駛車輛變?yōu)楸尘昂笥只謴?fù)運動狀態(tài)時背景不能及時更新為路面的情況。②有些車輛車體顏色與路面相近，在更新時部分車體會被誤當成背景。

圖4 視頻運動車輛檢測過程示意圖

圖5 DM6446 視頻運動車輛檢測系統(tǒng)實驗測試效果圖。

　　5 結(jié)語

　　本文給出了一種基于DM6446 的視頻運動車輛檢測系統(tǒng)的技術(shù)實現(xiàn)方案，描述了系統(tǒng)軟硬件平臺的搭建思路。本文所給出的實驗效果說明了本系統(tǒng)的技術(shù)可行性及其良好檢測性能。雖然本系統(tǒng)在幾組視頻測試序列中獲得良好的檢測效果，但本系統(tǒng)對環(huán)境光照的突變、樹枝搖擺的干擾等仍缺乏適應(yīng)性，算法需做進一步考慮，同時程序也需針對DM6446 硬件平臺做進一步優(yōu)化，這也是作者進一步的研究工作。