基于DM8168的視頻智能分析系統(tǒng)的設(shè)計(jì)方案

0 引言

視頻智能分析系統(tǒng)是指以數(shù)字視頻處理技術(shù)為核心，在傳統(tǒng)視頻監(jiān)控系統(tǒng)上發(fā)展而來(lái)的一種新型系統(tǒng)，充分利用了這些年高速DSP、光電傳感器、工業(yè)以太網(wǎng)和人工智能等領(lǐng)域的技術(shù)成果。視頻智能分析系統(tǒng)除具有傳統(tǒng)安防監(jiān)視系統(tǒng)的功能以外，還有復(fù)雜場(chǎng)景的晝夜監(jiān)控、不間斷檢測(cè)、智能識(shí)別及預(yù)警入侵目標(biāo)、自動(dòng)異常檢測(cè)、視頻傳輸、后端回放、誤報(bào)率低等特殊功能。

傳統(tǒng)基于PC 平臺(tái)的安防系統(tǒng)維護(hù)成本高、功耗體積大，一般不具備智能視頻分析功能，X86體系的處理器的實(shí)時(shí)性不強(qiáng)，使用范圍受限制。

目前大部分的視頻監(jiān)控系統(tǒng)是基于DM642 平臺(tái)的，少部分采用了DM6467平臺(tái)，處理器性能較弱，無(wú)法滿足今后的高清視頻智能分析的需求。TI公司在2011年推出TMS320DM8168 圖像處理器，內(nèi)嵌有ARM 核和DSP 核，ARM 核為1.2 GHz ARM-Cortex- -A8 RISCMPU,DSP核為1 GHz C674x-VLIW DSP,帶有SGX530顯示加速器、高清視頻協(xié)處理器(HDVICP)、高清視頻處理子系統(tǒng)(HDVPSS)。

本文以美國(guó)德州儀器(TI)公司的圖像處理器處理器TMS320DM8168為核心，設(shè)計(jì)及實(shí)現(xiàn)一種高清視頻智能分析系統(tǒng)，能智能分析高清視頻流，對(duì)威脅目標(biāo)具有檢測(cè)、識(shí)別、跟蹤及預(yù)警功能，通過(guò)千兆以太網(wǎng)將視頻壓縮傳輸給監(jiān)控后端。該高清視頻智能分析系統(tǒng)處理器運(yùn)算能力很強(qiáng)，能滿足多路高清視頻的分析處理和編碼傳輸需求，有很大的實(shí)用價(jià)值。

本方案從硬件設(shè)計(jì)和軟件設(shè)計(jì)兩個(gè)方面，對(duì)該高清視頻智能分析系統(tǒng)的設(shè)計(jì)流程進(jìn)行了詳細(xì)的描述。

1 系統(tǒng)硬件組成

高清視頻智能分析系統(tǒng)用于實(shí)現(xiàn)對(duì)現(xiàn)場(chǎng)大面積的覆蓋監(jiān)控，以及對(duì)目標(biāo)事件的特寫監(jiān)控。主要由A/D轉(zhuǎn)換器、DM8168處理器、電源轉(zhuǎn)換電路等組成。如圖1所示。

高清視頻智能分析系統(tǒng)采用12VDC供電。電源轉(zhuǎn)換電路通過(guò)TPS54620 芯片轉(zhuǎn)換成5 V,3.3 V 和1.5 V三路電壓，然后再轉(zhuǎn)換給各功能電路需要的電壓供功能電路使用。

高清模擬視頻信號(hào)通過(guò)YPbPr接口進(jìn)入系統(tǒng)，由高清視頻解碼器TVP7002 進(jìn)行AD 采集，由DM8168 的VIP0口捕獲。

處理器DM8168的高清視頻處理子系統(tǒng)(HDVPSS)提供了視頻輸入接口和視頻輸出接口，負(fù)責(zé)視頻捕獲、顯示、縮放和反交錯(cuò)處理，視頻輸出接口擴(kuò)展有HDMI顯示輸出接口。

處理器DM8168的高清視頻協(xié)處理器(HDVICP)來(lái)處理H.264,MPEG4,MJPEG編解碼。

處理器DM8168的SGX530顯示加速器可以有效提升視頻流顯示速度和質(zhì)量。

處理器DM8168 的DSP 內(nèi)核上完成高清視頻信號(hào)的分析、理解，主動(dòng)提取目標(biāo)并實(shí)現(xiàn)對(duì)目標(biāo)跟蹤。

處理器DM8168 的ARM 內(nèi)核運(yùn)行基于Linux 操作系統(tǒng)的應(yīng)用程序，主要負(fù)責(zé)系統(tǒng)的控制、通信以及網(wǎng)絡(luò)傳輸?shù)裙ぷ?，輸出?bào)警信號(hào)，通過(guò)千兆以太網(wǎng)將視頻壓縮傳輸給監(jiān)控后端，本設(shè)計(jì)的工作流程如圖2所示。

2 系統(tǒng)軟件設(shè)計(jì)

本設(shè)計(jì)中，處理器DM8168的雙核架構(gòu)中的ARM內(nèi)核是主處理器，能引導(dǎo)加載DSP內(nèi)核，并將預(yù)處理后的視頻數(shù)據(jù)通過(guò)SysLink傳送到DSP內(nèi)核進(jìn)行處理。Sys-Link是TI新推出的DSP/BIOS LINK實(shí)現(xiàn)，允許在處理器各個(gè)內(nèi)核之間的通信。ARM 內(nèi)核、DSP 內(nèi)核、HDVPSS和HDVICP 的通信由SysLink 負(fù)責(zé)。軟件系統(tǒng)架構(gòu)如圖3所示。

本設(shè)計(jì)的智能分析算法如圖4 所示。智能分析算法由視頻預(yù)處理、目標(biāo)檢測(cè)與跟蹤、目標(biāo)識(shí)別與理解、視頻編碼壓縮共4個(gè)模塊構(gòu)成。

在實(shí)際應(yīng)用中，通過(guò)視頻輸入接口捕獲的原始視頻由于運(yùn)動(dòng)、光照、噪聲等原因，導(dǎo)致原始視頻的信息量過(guò)于繁雜，必須對(duì)原始視頻進(jìn)行預(yù)處理，提取需要的信息。在捕獲原始視頻后，因?yàn)槌上竦倪^(guò)程中不可避免地受到各種干擾的原因。在本設(shè)計(jì)中，對(duì)原始視頻進(jìn)行預(yù)處理是必不可少的，把干擾因素的影響降到最低，并且把質(zhì)量較低的視頻進(jìn)行處理，原因就是直接對(duì)待測(cè)目標(biāo)的特征數(shù)據(jù)庫(kù)去提取特征很難做到。

預(yù)處理模塊主要包括攝像機(jī)標(biāo)定、濾波、增強(qiáng)與恢復(fù)等環(huán)節(jié)。在使用攝像機(jī)之前需要對(duì)其進(jìn)行參數(shù)的標(biāo)定，包括攝像機(jī)模型的內(nèi)部參數(shù)和外部參數(shù)。

3 目標(biāo)測(cè)試與分析結(jié)果

目標(biāo)檢測(cè)與跟蹤模塊主要是把目標(biāo)從視頻圖像中提取出來(lái)，并進(jìn)行判斷。同時(shí)將目標(biāo)完成的從背景中分割出來(lái)，最后實(shí)現(xiàn)對(duì)目標(biāo)的持續(xù)穩(wěn)定跟蹤。完成對(duì)目標(biāo)的檢測(cè)和跟蹤，是實(shí)現(xiàn)更復(fù)雜的識(shí)別功能的基礎(chǔ)。目標(biāo)的檢測(cè)與跟蹤模塊包括背景建模、目標(biāo)分割、特征模板建立、目標(biāo)跟蹤。目標(biāo)識(shí)別與理解模塊內(nèi)容包括主要包括目標(biāo)模型建立、目標(biāo)分類識(shí)別、行為理解、識(shí)別和模板更新，是在目標(biāo)檢測(cè)與跟蹤模塊的基礎(chǔ)上，進(jìn)一步研究各目標(biāo)的性質(zhì)以及目標(biāo)之間的相互聯(lián)系，并得出對(duì)視頻內(nèi)容的理解以及對(duì)客觀場(chǎng)景的解釋。完成目標(biāo)的鎖定后，通過(guò)更為深度的分析和理解和采用基于學(xué)習(xí)機(jī)制的識(shí)別和理解算法，進(jìn)一步研究視頻中各目標(biāo)的性質(zhì)。對(duì)目標(biāo)進(jìn)行分類識(shí)別和行為理解，從而指導(dǎo)和規(guī)劃行動(dòng)。

經(jīng)過(guò)目標(biāo)識(shí)別和理解，將分析結(jié)果送入決策模塊，送出報(bào)警信息。同時(shí)，在分析后視頻上疊加標(biāo)志信息，進(jìn)行視頻編碼后通過(guò)以太網(wǎng)傳輸?shù)奖O(jiān)控后端設(shè)備。如圖5、圖6所示。

為了優(yōu)化系統(tǒng)性能，由ARM內(nèi)核對(duì)DSP內(nèi)核、高清視頻處理子系統(tǒng)和高清視頻協(xié)處理器的工作進(jìn)行精確同步并行，保證ARM內(nèi)核在預(yù)處理N幀視頻、將N-3幀視頻通過(guò)千兆以太網(wǎng)送出的同時(shí)，DSP 內(nèi)核在分析第N-1幀視頻，HDVICP對(duì)N-2幀視頻編碼壓縮，HDVPSS正好采集N+1幀視頻。

4 結(jié)論

本方案在DM8168 平臺(tái)上設(shè)計(jì)并實(shí)現(xiàn)了高清視頻智能分析系統(tǒng)，構(gòu)造了較為先進(jìn)的智能分析軟件算法， 從硬件設(shè)計(jì)和軟件設(shè)計(jì)兩個(gè)方面介紹了硬件組成、工作流程、軟件架構(gòu)，并詳細(xì)描述智能分析算法的構(gòu)成、實(shí)現(xiàn)和優(yōu)化。經(jīng)過(guò)目標(biāo)測(cè)試結(jié)果表明，該高清視頻智能分析系統(tǒng)能實(shí)現(xiàn)對(duì)復(fù)雜場(chǎng)景的晝夜不間斷監(jiān)控，具有架構(gòu)簡(jiǎn)單、可靠性高、誤報(bào)警率低等特點(diǎn)，滿足今后的高清視頻智能分析的需求，應(yīng)用前景相當(dāng)廣闊。