3G無線視頻監(jiān)控系統(tǒng)設(shè)計(jì)

引言

　　本文針對網(wǎng)絡(luò)視頻監(jiān)控設(shè)備的實(shí)際應(yīng)用需求，融合視頻壓縮、嵌入式系統(tǒng)無線通信等新技術(shù)，設(shè)計(jì)實(shí)現(xiàn)了基于3G技術(shù)的H.264無線視頻監(jiān)控系統(tǒng)。由于H.264標(biāo)準(zhǔn)中碼率控制策略過于強(qiáng)調(diào)通用性而沒有考慮無線網(wǎng)絡(luò)的誤碼率高、抖動性大以及嵌入式終端處理能力有限的因素，而本系統(tǒng)在實(shí)現(xiàn)了H.264標(biāo)準(zhǔn)中碼率控制策略的基礎(chǔ)上進(jìn)行了優(yōu)化，增強(qiáng)了系統(tǒng)的穩(wěn)定性。

　　1 視頻監(jiān)控系統(tǒng)總體結(jié)構(gòu)

　　視頻監(jiān)控系統(tǒng)由視頻拍攝節(jié)點(diǎn)、視頻采集控制模塊、網(wǎng)絡(luò)代理模塊和觀看終端組成。其中，拍攝節(jié)點(diǎn)為高精度攝像機(jī)，負(fù)責(zé)采集原始視頻；視頻采集控制模塊由采集卡以及控制軟件組成，采集卡安裝在嵌入式主板上，把攝像機(jī)采集的原始視頻數(shù)據(jù)壓縮成H.264格式的碼流并回調(diào)給系統(tǒng)處理；控制軟件運(yùn)行在嵌入式Linux系統(tǒng)上，通過采集卡的驅(qū)動程序獲取壓縮后的H.264格式的碼流，并控制與網(wǎng)絡(luò)代理模塊的連接以及數(shù)據(jù)和命令的傳輸及響應(yīng)，如將壓縮后的碼流傳輸給網(wǎng)絡(luò)代理，對某個攝像機(jī)通過串口發(fā)控制命令；網(wǎng)絡(luò)代理模塊負(fù)責(zé)與視頻觀看終端進(jìn)行網(wǎng)絡(luò)連接的管理以及控制命令和視頻數(shù)據(jù)的傳輸；觀看終端為主流的基于Symbian操作系統(tǒng)的智能手機(jī)。

　　2 系統(tǒng)硬件構(gòu)成及主要模塊

　　手機(jī)視頻監(jiān)控系統(tǒng)的硬件環(huán)境由攝像機(jī)、采集卡、嵌入式主板以及智能手機(jī)組成。攝像機(jī)使用的是SONYFCB2EX480CP;嵌入式主板使用的是威盛EPIANR系列Nano2ITX嵌入式主板，型號為EPIANR10000EG;智能手機(jī)使用當(dāng)前主流的基于Symbian操作系統(tǒng)的手機(jī)諾基亞N95。系統(tǒng)框圖如圖1所示，拍攝節(jié)點(diǎn)為可控制攝像頭。下面主要介紹視頻采集控制模塊和網(wǎng)絡(luò)代理模塊的功能及構(gòu)成。

　　2.1 視頻采集控制

　　視頻采集控制模塊主要負(fù)責(zé)視頻的采集、壓縮和控制命令的響應(yīng)，采集視頻時主要負(fù)責(zé)采集卡的啟動、初始化和各種控制操作，同時也負(fù)責(zé)攝像頭相關(guān)的一些控制操作。具體的軟件構(gòu)架如圖2所示。其中：NCCMain模塊負(fù)責(zé)管理各個子模塊，打開Socket監(jiān)聽7020端口，當(dāng)有從網(wǎng)絡(luò)代理模塊的連接請求時，則響應(yīng)并接收數(shù)據(jù)；數(shù)據(jù)處理模塊負(fù)責(zé)處理各種命令（如視頻的開啟和焦距調(diào)整命令），并對這些命令發(fā)送確認(rèn)消息進(jìn)行響應(yīng)；RS2232串口線控制模塊通過RS2232串口線控制攝像機(jī)的拍攝焦距，以響應(yīng)焦距調(diào)整命令；板卡采集管理模塊主要負(fù)責(zé)板卡的初始化、采集信道的開啟、H.264各種參數(shù)（I、P幀的間距、量化參數(shù)、編碼格式（CIF、QCIF）等）的設(shè)置、回調(diào)函數(shù)的設(shè)置，與代理進(jìn)行連接從而向代理發(fā)送視頻流等操作。該模塊基于采集卡開發(fā)包，通過接口調(diào)用廠商提供的驅(qū)動程序來實(shí)現(xiàn)各種功能。

　　該模塊的工作流程如下：

　　a）調(diào)用廠商提供的驅(qū)動程序設(shè)置視頻采集的初始參數(shù)；

　　b）啟動網(wǎng)絡(luò)管理程序，打開套接字監(jiān)聽7020端口，當(dāng)收到連接請求便響應(yīng)連接請求并接收命令，收到命令后調(diào)用命令處理模塊，根據(jù)不同命令進(jìn)行不同處理；

　　c）當(dāng)收到啟動視頻命令，向代理發(fā)連接請求，請求響應(yīng)后連接建立，通過該連接向代理發(fā)送視頻數(shù)據(jù)，并將連接描述符保存到轉(zhuǎn)發(fā)表中；

　　d）當(dāng)收到視頻關(guān)閉命令，關(guān)閉與代理的視頻傳輸連接，將轉(zhuǎn)發(fā)表對應(yīng)的表項(xiàng)清空；

　　e）當(dāng)收到焦距調(diào)整命令后，調(diào)用RS2232串口控制模塊設(shè)置攝像頭的拍攝焦距，然后與網(wǎng)絡(luò)代理監(jiān)聽的7005端口建立連接，將當(dāng)前的焦距級數(shù)信息報告給網(wǎng)絡(luò)代理。

　　2.2 網(wǎng)絡(luò)代理

　　網(wǎng)絡(luò)代理模塊主要負(fù)責(zé)響應(yīng)手持設(shè)備的連接請求和控制命令，并向其發(fā)送視頻數(shù)據(jù)，它又包含以下子模塊：

　　a）連接請求監(jiān)聽模塊。該模塊作為一個單獨(dú)的線程，監(jiān)聽9000端口，如收到手持設(shè)備的代理信息請求命令則回送一個確認(rèn)消息。

　　b）控制命令處理模塊。它負(fù)責(zé)處理手持設(shè)備發(fā)來的各種命令，并向視頻采集控制模塊發(fā)送對應(yīng)的處理命令；接收視頻采集控制模塊的命令響應(yīng)，并對手持設(shè)備的命令作相應(yīng)的響應(yīng)。

　　c）視頻數(shù)據(jù)收發(fā)模塊。當(dāng)接收到來自視頻采集控制模塊的H.264視頻碼流便將此視頻數(shù)據(jù)流轉(zhuǎn)發(fā)給發(fā)出點(diǎn)播命令的手持設(shè)備。網(wǎng)絡(luò)代理模塊的結(jié)構(gòu)關(guān)系如圖3所示。

　　2.3 視頻監(jiān)控系統(tǒng)通信流程

　　無線視頻監(jiān)控系統(tǒng)的總體流程如下：

　　a）手持設(shè)備接入網(wǎng)絡(luò)。手持設(shè)備通過3G無線網(wǎng)絡(luò)跨過移動網(wǎng)關(guān)接入有線網(wǎng)，與視頻服務(wù)網(wǎng)絡(luò)代理交互，注冊自己的信息，并從代理節(jié)點(diǎn)得到網(wǎng)絡(luò)中采集設(shè)備的信息。

　　b）進(jìn)行視頻瀏覽操作。手持設(shè)備接入網(wǎng)絡(luò)后，可根據(jù)需要進(jìn)行視頻瀏覽，用戶選定要進(jìn)行瀏覽的節(jié)點(diǎn)和攝像頭，向其發(fā)送控制命令，開啟攝像頭進(jìn)行采集，得到的視頻數(shù)據(jù)通過視頻服務(wù)網(wǎng)絡(luò)代理經(jīng)3G網(wǎng)絡(luò)傳輸給手持設(shè)備，在手持設(shè)備上進(jìn)行觀看。

　　c）進(jìn)行視頻控制操作。手持設(shè)備獲得拍攝節(jié)點(diǎn)視頻后，可根據(jù)需要對拍攝節(jié)點(diǎn)進(jìn)行控制以獲取更感興趣的視頻區(qū)域，如用戶對拍攝節(jié)點(diǎn)更遠(yuǎn)處的場景感興趣，可發(fā)送放大指令，讓采集視頻的攝像機(jī)向遠(yuǎn)處變焦；用戶也可以根據(jù)自己的需要發(fā)送攝像機(jī)或節(jié)點(diǎn)切換指令給代理，代理進(jìn)行響應(yīng)并按用戶需求啟動相應(yīng)的攝像機(jī)。

　　3 碼率控制優(yōu)化算法

　　在H.264標(biāo)準(zhǔn)中，碼率控制是根據(jù)當(dāng)前的帶寬和緩沖區(qū)使用情況來動態(tài)地調(diào)節(jié)量化參數(shù)等系數(shù)實(shí)現(xiàn)的?？紤]到移動終端的處理能力差異大以及無線網(wǎng)絡(luò)誤碼率高抖動大等因素，本系統(tǒng)在實(shí)現(xiàn)了H.264標(biāo)準(zhǔn)中碼率控制策略的基礎(chǔ)上進(jìn)行了優(yōu)化，即在碼率控制過程中，不僅考慮到帶寬和緩沖區(qū)的使用度，還結(jié)合終端的視頻處理能力以及無線網(wǎng)絡(luò)的狀況，動態(tài)地調(diào)節(jié)編碼器的參數(shù)，此外，增加了跳幀策略，并結(jié)合本系統(tǒng)優(yōu)化了跳幀策略，從而達(dá)到更好的碼率控制效果。3.1 移動終端反饋信息優(yōu)化

　　H.264標(biāo)準(zhǔn)中，碼率控制根據(jù)式（1）計(jì)算第i個z幀組的第j幀配比特?cái)?shù)：

　　其中：u（ni,j）表示編碼第i組第j幀時信道可獲帶寬；Fr表示預(yù)定幀率；Tbl（ni,j）表示第i個幀組編碼第j幀時目標(biāo)緩沖區(qū)的使用量；Bc（ni,j）表示編碼完第j-1幀時緩沖區(qū)的占用量。

　　式（1）強(qiáng)調(diào)通用性而沒有對無線環(huán)境以及嵌入式設(shè)備進(jìn)行相關(guān)處理。本文結(jié)合無線網(wǎng)絡(luò)誤碼率高以及移動終端處理能力弱的特點(diǎn)對標(biāo)準(zhǔn)中算法進(jìn)行了優(yōu)化。首先移動終端統(tǒng)計(jì)誤碼率和丟包率，分別記為Ei,j和Li,j,并設(shè)定一個值Mi,j表示移動終端反饋的其緩沖使用度。移動終端定時把幾項(xiàng)數(shù)據(jù)反饋給網(wǎng)絡(luò)代理模塊，網(wǎng)絡(luò)代理根據(jù)移動終端的反饋信息重新對網(wǎng)絡(luò)帶寬可用度進(jìn)行評估并對原算法公式進(jìn)行調(diào)整，計(jì)算式為：

　　其中：BWij表示根據(jù)移動終端反饋信息獲取的當(dāng)前帶寬可用度；γi,j表示移動終端承載能力因子；β1、β2、β3和β4為加權(quán)系數(shù)。在幀組層碼率控制計(jì)算第j幀分配的碼字時把原算法的式（1）調(diào)整為式（4）。

　　3.2　跳幀

　　為了避免溢出，當(dāng)緩存區(qū)內(nèi)比特?cái)?shù)超過緩存區(qū)空間的85%時，跳過當(dāng)前幀而不對其進(jìn)行編碼，直到其低于臨界值后再進(jìn)行編碼。在H.264碼率控制算法的第二步中，根據(jù)目標(biāo)緩存使用量、幀率、可用帶寬和實(shí)際緩存占用度以及當(dāng)前編碼圖像的復(fù)雜度，可以由下式計(jì)算得到第i個幀組第j幀的目標(biāo)比特?cái)?shù)，計(jì)算式如下：

　　其中：。f（ni,j）表示考慮剩余比特?cái)?shù)和圖像復(fù)雜度后應(yīng)該增加的比特?cái)?shù)；γ為一常數(shù)，一般取值0.5,當(dāng)沒有B幀的情況下取值0.25;.f（ni,j）與式（1）的意義相同。本文利用該公式結(jié)果進(jìn)行碼率控制的同時，優(yōu)化跳幀策略，即當(dāng)預(yù)測的碼率加上當(dāng)前緩沖區(qū)使用量大于預(yù)定閾值Kmax（目前定位為95%）時，可進(jìn)行主動丟幀處理，即如果不是i幀，就將其丟掉，不作編碼處理。

　　計(jì)算如下：

　　當(dāng)收到移動終端的反饋值M大于85%時，同樣采取跳幀策略，避免造成移動終端緩沖區(qū)不夠的丟幀現(xiàn)象發(fā)生，因?yàn)閬G幀丟的如果是i幀，會影響后續(xù)視頻幀的重建。該策略可以通過跳過一些復(fù)雜度較低、對于整個序列而言并不重要的圖像來為后面復(fù)雜度較高、不能丟失的圖像留出緩存區(qū)空間。

　　4 測試結(jié)果

　　針對本文的無線視頻系統(tǒng)和優(yōu)化算法，主要測試系統(tǒng)總體性能和碼率控制優(yōu)化的效果，碼率控制的結(jié)果主要以傳輸比特?cái)?shù)和PSNR值來衡量。在接收端程序中加入了iBufSizeTotal變量，用來統(tǒng)計(jì)發(fā)送的數(shù)據(jù)大小的總和；在拍攝端加入了編碼啟動時間iTimeStart和編碼結(jié)束時間iTimeEnd,并加入了變量iFrameCount來統(tǒng)計(jì)共編碼了多少幀。針對計(jì)算碼率控制的效果，計(jì)算碼率控制算法優(yōu)化前和優(yōu)化后平均每秒的輸出比特?cái)?shù)（碼率），計(jì)算式如下：

　　針對編碼優(yōu)化的效果計(jì)算出編碼器優(yōu)化前后編碼的平均每秒編碼幀數(shù)（幀率），計(jì)算式如下所示：

　　在進(jìn)行系統(tǒng)的測試時，將拍攝節(jié)點(diǎn)放置在以下四種背景環(huán)境中：

　　a）紋理簡單，運(yùn)動緩慢；

　　b）紋理比較豐富，運(yùn)動平緩；

　　c）紋理豐富，運(yùn)動中等；

　　d）紋理復(fù)雜，運(yùn)動劇烈。拍攝的攝像頭采樣模式均設(shè)為YUV的4∶2∶0格式。表1顯示了編碼器優(yōu)化前后的四種背景下每秒幀率的情況。

　　對于碼率控制優(yōu)化算法實(shí)驗(yàn)的結(jié)果通過表格的形式給出。

　　表2給出了標(biāo)準(zhǔn)中原碼率控制算法和本文提出的算法對于六種標(biāo)準(zhǔn)序列在不同目標(biāo)碼率和幀率下的實(shí)際編碼碼率和平均重建圖像的峰值信噪比PSNR值的測試結(jié)果；表3給出了原標(biāo)準(zhǔn)算法和本文算法對應(yīng)的比特率偏移與平均PSNR值差值比較。

　　從表3中可以看出，本文提出的算法可以更為合理地控制碼率，六個序列中四個的峰值信噪比原算法有一定提高，表明本文提出的圖像復(fù)雜度因子是合理有效的。

　　為了進(jìn)一步對比改進(jìn)算法的效果，本文將視頻序列每幀的PSNR值通過坐標(biāo)圖的形式給出，圖中橫坐標(biāo)為幀的編號，縱坐標(biāo)為對應(yīng)的PSNR值。本文中給出了具有mobile（碼率限制較高比特128kbps）的視頻序列PSNR圖，如圖4所示，即限定碼率分別為32kbps、64kbps和128kbps的典型視頻。從圖4中可以看出，改進(jìn)算法的PSNR值波動相對較小，從而在視覺上不會感覺到明顯的圖像質(zhì)量變化，這就保證了圖像質(zhì)量的平穩(wěn)過渡，具有較高的主觀視覺質(zhì)量。

　　5 結(jié)語

　　本文設(shè)計(jì)并實(shí)現(xiàn)了基于3G和H.264技術(shù)的無線實(shí)時監(jiān)控系統(tǒng)，并結(jié)合無線傳輸以及智能手機(jī)處理能力弱的特點(diǎn)，對H.264標(biāo)準(zhǔn)中碼率控制策略進(jìn)行了優(yōu)化。