基于DirectShow的MPEG-4視頻傳輸系統(tǒng)的研究與實(shí)現(xiàn)

摘要  本文簡(jiǎn)單介紹了DirectShow技術(shù)，研究了利用DirectShow實(shí)現(xiàn)視頻采集、壓縮和網(wǎng)絡(luò)傳輸技術(shù)。并利用第三方提供的編解碼器實(shí)現(xiàn)了MPEG-4視頻數(shù)據(jù)的網(wǎng)絡(luò)傳輸系統(tǒng)，在該系統(tǒng)中利用RTP協(xié)議進(jìn)行視頻數(shù)據(jù)傳輸，同時(shí)實(shí)現(xiàn)了遠(yuǎn)端幀率的控制。
關(guān)鍵詞 視頻; 采集; 壓縮; DirectShow; MPEG-4,RTP

1 引言
    近年來(lái)，隨著國(guó)民經(jīng)濟(jì)的發(fā)展，社會(huì)各個(gè)部門對(duì)于視頻監(jiān)視系統(tǒng)的需求越來(lái)越多。但目前的很多監(jiān)視系統(tǒng)都跟具體的硬件相關(guān)，必須要具體的采集卡的支持才能實(shí)現(xiàn)。所以有必要開(kāi)發(fā)一種具有通用性的視頻監(jiān)視系統(tǒng)，用普通的攝像頭就能實(shí)現(xiàn)視頻的采集。
    基于DirectShow的開(kāi)發(fā)能很靈活地控制音視頻的效果，所以選擇DirectShow這種可擴(kuò)展性好的技術(shù)做開(kāi)發(fā)對(duì)以后的應(yīng)用升級(jí)很有幫助。此外，為了實(shí)現(xiàn)流媒體傳輸控制的策略，流媒體的傳輸和回放也是應(yīng)解決的問(wèn)題之一。由Microsoft提供的DirectShow技術(shù)基于組件對(duì)象模型技術(shù)，支持寬松的格式變化，提供高品質(zhì)的多媒體流回放。利用它可以在普通微機(jī)中實(shí)現(xiàn)流媒體的客戶端處理，并可以提高系統(tǒng)的通用性和可擴(kuò)展性。
    對(duì)于視頻數(shù)據(jù)的傳輸，壓縮率是一個(gè)必須考慮到的因素。MPEG-4是由ISO和IEC的MPEG組制定的一個(gè)關(guān)于活動(dòng)圖像和聲音的編碼國(guó)際標(biāo)準(zhǔn)。它在基于內(nèi)容的交互性、壓縮率、通用訪問(wèn)能力等方面提供了一系列新的或改進(jìn)的功能。MPEG-4視頻在提供較好的圖像質(zhì)量的同時(shí)擁有較高的壓縮率，適合于作為傳輸?shù)膱D像壓縮標(biāo)準(zhǔn)。

2  相關(guān)技術(shù)

2.1 DirectShow技術(shù)簡(jiǎn)介
     DirectShow是Microsoft為開(kāi)發(fā)高性能多媒體應(yīng)用而開(kāi)發(fā)的底層應(yīng)用程序接口（API）,它是DirectX家族的核心成員之一。DirectShow自身是通過(guò)一種系統(tǒng)內(nèi)置的或程序員開(kāi)發(fā)的過(guò)濾器（Filter）來(lái)控制和處理多媒體數(shù)據(jù)的體系結(jié)構(gòu)。該體系結(jié)構(gòu)定義了如何處理和控制過(guò)濾器內(nèi)部及相互之間的多媒體數(shù)據(jù)流。每個(gè)過(guò)濾器都有輸入或輸出針（Pin）, 或兩者都有。
    過(guò)濾器（Filter）是DirectShow的基本組成部分，是Filter Graph(過(guò)濾器圖)中最小的功能模塊，DirectShow將多媒體數(shù)據(jù)的處理分離成不同的步驟，這些不同的步驟由相應(yīng)的Filter去處理。這樣我們可以把不同的過(guò)濾器搭配在一起達(dá)到我們要求的來(lái)處理多媒體數(shù)據(jù)。過(guò)濾器根據(jù)實(shí)現(xiàn)功能的不同大致可分為3類：
（1） 源過(guò)濾器（Source Filters）。源過(guò)濾器負(fù)責(zé)得到原始媒體數(shù)據(jù)。這些媒體數(shù)據(jù)的來(lái)源包括本地硬盤或網(wǎng)絡(luò)上的媒體文件、各種采集卡等。
（2） 轉(zhuǎn)換過(guò)濾器（Transform Filters）。轉(zhuǎn)換過(guò)濾器的任務(wù)是處理從其他過(guò)濾器中接收的數(shù)據(jù)，經(jīng)過(guò)一定的處理后再傳遞給下一個(gè)過(guò)濾器。編解碼器就是典型的轉(zhuǎn)換過(guò)濾器。
（3） 表現(xiàn)過(guò)濾器（Rendering Filters）。表現(xiàn)過(guò)濾器對(duì)接收到的數(shù)據(jù)進(jìn)行最后的處理。它做的工作有：把媒體數(shù)據(jù)保存為文件、將數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)、顯示視頻、回放音頻等[1]。
    在DirectShow 系統(tǒng)之上是應(yīng)用程序(Application) 。應(yīng)用程序要按照程序所要實(shí)現(xiàn)的功能建立起相應(yīng)的Filter Graph ,然后借助于Filter Graph Manager 來(lái)控制整個(gè)數(shù)據(jù)的處理過(guò)程。DirectShow 能在Filter Graph 運(yùn)行的時(shí)候接收到各種事件,并通過(guò)消息的方式發(fā)送到應(yīng)用程序。這樣就實(shí)現(xiàn)了應(yīng)用程序與DirectShow 系統(tǒng)之間的交互。
2.2 RTP/RTCP協(xié)議介紹
    實(shí)時(shí)傳輸協(xié)議RTP(Realtime Transport Protocol)是針對(duì)Internet 上多媒體數(shù)據(jù)流的一個(gè)傳輸協(xié)議，1996 年由IETF( Internet 工程任務(wù)組) 的AVT小組作為RFC1889 發(fā)布AVT小組后來(lái)對(duì)該文檔進(jìn)行了不斷改進(jìn)，于2003年7月提出了代替RFC1889的RFC3550。RTP充分體現(xiàn)了應(yīng)用層分幀這一現(xiàn)代通信協(xié)議的設(shè)計(jì)思想，允許其用戶了解、調(diào)整甚至制定連續(xù)媒體的打包方案，該協(xié)議被廣泛用于VoIP、視頻等實(shí)時(shí)媒體的傳送。RTP 協(xié)議包括RTP 和RTCP(RTP 控制協(xié)議) 兩個(gè)關(guān)系十分密切的子協(xié)議：
    (1)  RTP協(xié)議－傳輸具有實(shí)時(shí)特性的數(shù)據(jù)；
    （2）RTCP協(xié)議-監(jiān)測(cè)QoS 和傳送參與傳輸者的信息。
    RTP(實(shí)時(shí)傳輸協(xié)議) 通常工作在UDP的上層，從上層接收多媒體信息碼流(如MPEG-4視頻) ，組裝成RTP 數(shù)據(jù)包,然后發(fā)送給下層UDP ，相當(dāng)于OSI 的會(huì)話層，提供同步和排序服務(wù)。故RTP 協(xié)議適用于傳送連續(xù)性強(qiáng)的數(shù)據(jù)，如視頻、音頻等，并對(duì)網(wǎng)絡(luò)引起的時(shí)延差錯(cuò)有一定的自適應(yīng)能力。RTCP 為實(shí)時(shí)控制協(xié)議，用于管理控制信息，如監(jiān)視網(wǎng)絡(luò)的延時(shí)和帶寬，一旦所傳輸?shù)亩嗝襟w信息的帶寬發(fā)生變化，接收端則通知發(fā)送端，廣播符號(hào)化識(shí)別碼和編碼參數(shù)，達(dá)到控制傳輸質(zhì)量的目的。此外,如果底層網(wǎng)絡(luò)支持多點(diǎn)傳播的話，RTP 還支持使用多點(diǎn)傳播向多個(gè)目的端點(diǎn)發(fā)送數(shù)據(jù)。
    RTP協(xié)議具有如下特點(diǎn)[5]：
（1）靈活性
    RTP協(xié)議的數(shù)據(jù)報(bào)文和控制報(bào)文使用不同的端口，數(shù)據(jù)流和控制流分離，這樣大大地提高了協(xié)議的靈活性，處理也簡(jiǎn)單。
（2）支持多播
    如果下層網(wǎng)路支持，可以支持多播。
（3）可擴(kuò)展性
    RTP協(xié)議通常為一個(gè)具體的應(yīng)用提供服務(wù)，通過(guò)一個(gè)具體的應(yīng)用進(jìn)程實(shí)現(xiàn)，而不作為OSI體系結(jié)構(gòu)中單獨(dú)的一層來(lái)實(shí)現(xiàn)，RTP只提供協(xié)議框架，開(kāi)發(fā)者可以根據(jù)應(yīng)用的具體要求對(duì)協(xié)議進(jìn)行充分的擴(kuò)展。

3 關(guān)鍵技術(shù)的實(shí)現(xiàn)

    該系統(tǒng)的發(fā)送端實(shí)現(xiàn)思路如下：用USB攝像頭采集數(shù)據(jù)，用Divx 5.1.1 Codec 對(duì)采集到的數(shù)據(jù)進(jìn)行MPEG-4的編碼，然后連到一個(gè)發(fā)送Filter把編碼后的數(shù)據(jù)發(fā)送出去。其Filter Graph如圖1所示 ：

                      圖1   發(fā)送端的Filter Graph
   接收端的實(shí)現(xiàn)思路如下:通過(guò)一個(gè)接收Filter接收發(fā)送端發(fā)送的數(shù)據(jù)，然后再用Divx Decoder Filter對(duì)接收到的數(shù)據(jù)進(jìn)行解碼。最后用Video Renderer把解碼后的數(shù)據(jù)播放出來(lái)。其Filter Graph如圖2所示：

                      圖2   接收端的Filter Graph
3.1  數(shù)據(jù)采集及編碼的實(shí)現(xiàn)
3.1.1 采集Filter Graph的實(shí)現(xiàn)
    采集應(yīng)用的Filter Graph一般比較復(fù)雜，而直接使用Filter Graph Manager上的IGraphBuilder接口構(gòu)建這種Filter Graph,有時(shí)候難度又很大。為此，DirectShow特別提供了一個(gè)輔助組件Capture Graph Builder,來(lái)簡(jiǎn)化這種Filter Graph的創(chuàng)建。
    首先是創(chuàng)建Filter Graph Manager 組件，核心代碼如下：      

3.1.2 加入采集Filter

3.1.3加入MPEG-4編碼器Filter
    這里我們采用Divx 提供的開(kāi)源編碼Filter。安裝DivX.Pro.v5.1.1后會(huì)自動(dòng)安裝Divx的編碼器Filter和解碼器Filter（注：解碼器Filter在接收端要用到）。在程序中加入Divx的編碼器Filter，實(shí)現(xiàn)思想是在Video Compressors目錄下枚舉到名稱為"DivX Pro(tm) 5.1.1 Codec"的Filter項(xiàng)后，把它加入到Filter Graph中即可。
3.2 數(shù)據(jù)的發(fā)送和接收
3.2.1 數(shù)據(jù)的發(fā)送Filter的實(shí)現(xiàn)  
    數(shù)據(jù)的發(fā)送要開(kāi)發(fā)一個(gè)發(fā)送Filter，為了編程上的方便，這里采用程序內(nèi)Filter的形式來(lái)實(shí)現(xiàn)。即用類的形式而不是編寫一個(gè)成一個(gè)后綴為ax的組件注冊(cè)后再使用。這里我們定義一個(gè)繼承自CBaseFilter的類CFilterMpeg4Sender。這個(gè)類必須實(shí)現(xiàn)以下功能[3]：
   (1) 在類中定義CFilterMpeg4Sender上的Pin的實(shí)例mInputPin。
   (2) 實(shí)現(xiàn)繼承自CBaseFilter::GetPin,用于返回Filter上各個(gè)Pin的對(duì)象指針。
   (3) 實(shí)現(xiàn)繼承自CBaseFilter::GetPin,用于返回Filter上各個(gè)Pin的數(shù)量。
    定義一個(gè)繼承自CRenderedInputPin的類CMpeg4InputPin，用于實(shí)現(xiàn)CFilterMpeg4Sender上的輸入pin，發(fā)送Filter通過(guò)該輸入pin接收編碼Filter輸出的數(shù)據(jù)，然后按一定的規(guī)則發(fā)送。
    這個(gè)類必須實(shí)現(xiàn)以下功能[2]：
   (1) 重寫方法EndOfStream。
   (2) 實(shí)現(xiàn)IPin::BeginFlush和IPin::EndFlush兩個(gè)函數(shù)。
   (3) 重寫方法CBasePin::CheckMediaType進(jìn)行連接時(shí)媒體類型的檢查。
   (4) 重寫方法CBasePin:: Receive(),接收Sample并發(fā)送
3.2.2 數(shù)據(jù)的接收Filter的實(shí)現(xiàn)
數(shù)據(jù)的接收其實(shí)是要編寫一個(gè)Source Filter, 這個(gè)Source Filter名稱為CFilterMpeg4Receiver，也繼承自CBaseFilter。這跟發(fā)送Filter的實(shí)現(xiàn)有些類似，有一點(diǎn)需要注意的是該Filter輸出的MediaType的設(shè)置。
     Char  MediaType[]=//媒體數(shù)據(jù)類型,通過(guò)在發(fā)送端把媒體類型寫到一個(gè)文件中而得到然后通過(guò)語(yǔ)句：CFilterMpeg4Receiver::SetupMediaType((char *)MediaType,88)設(shè)置輸出數(shù)據(jù)的MediaType。
    CFilterMpeg4Receiver::SetupMediaType再調(diào)用CMpeg4OutPin::SetupMediaType（）設(shè)置、接收到的媒體數(shù)據(jù)的格式，
3.2.3 數(shù)據(jù)的網(wǎng)絡(luò)傳輸?shù)膶?shí)現(xiàn)
 
 
     數(shù)據(jù)的發(fā)送我們采用開(kāi)源代碼JRTPLIB【6】提供的RTP協(xié)議棧。最新的JRTPLIB對(duì)RFC3550的實(shí)現(xiàn)進(jìn)行了封裝，開(kāi)發(fā)人員只要初步了解RTP協(xié)議就可以開(kāi)發(fā)出高質(zhì)量的音視頻傳輸程序。使用JRTPLIB時(shí)，只需要通過(guò)繼承RTPSession類，再重新以下幾個(gè)函數(shù)就可以實(shí)現(xiàn)視頻數(shù)據(jù)的接收。

                  
     在網(wǎng)絡(luò)帶寬比較低的情況下（如十幾KBps），數(shù)據(jù)丟幀現(xiàn)象比較嚴(yán)重，這對(duì)于圖像質(zhì)量有很大的影響。我們采用拆幀（拆成1400個(gè)字節(jié)）以后再發(fā)送的方法，來(lái)降低丟幀率。接收端收到數(shù)據(jù)后，再把屬于同一視頻幀的數(shù)據(jù)再組起來(lái)。
    網(wǎng)絡(luò)發(fā)送接收程序流程圖如圖3所示：

     
                             圖3  網(wǎng)絡(luò)發(fā)送接收程序流程圖

    對(duì)程序流程圖的說(shuō)明如下：
（1）發(fā)送端拆幀的算法如下：

   然后把屬于同一視頻幀的數(shù)據(jù)組好，發(fā)送到解碼Filter。
   經(jīng)過(guò)測(cè)試（在CDMA1.X網(wǎng)絡(luò)下），采用拆幀方法傳輸視頻數(shù)據(jù)比直接發(fā)送丟包率更低，傳輸質(zhì)量有了很大的提高。
3.3 數(shù)據(jù)解碼及回放的實(shí)現(xiàn)
    解碼Filter使用的是Divx提供的開(kāi)源解碼器，在接收Filter的后面接上該解碼Filter即可，最后接上Renderer Filter就可以把接收到的數(shù)據(jù)回放出來(lái)。
3.4 實(shí)現(xiàn)幀率控制功能
    通過(guò)在采集設(shè)備和編碼Filter（DivX Pro(tm) 5.1.1 Codec）之間加入一個(gè)幀率控制Filter來(lái)實(shí)現(xiàn)幀率的控制，該Filter相當(dāng)于一個(gè)視頻幀數(shù)計(jì)數(shù)器，每接收到一幀，并不立即把該幀發(fā)給下游的編碼Filter，而是把計(jì)數(shù)器的值加1，當(dāng)計(jì)數(shù)器的值達(dá)到最大值時(shí)才把當(dāng)前收到的幀發(fā)出去。在接收端發(fā)控制幀率命令給采集端可以很方便的實(shí)現(xiàn)幀率的遠(yuǎn)端控制。
    程序片斷如下：

    加了幀率控制Filter的發(fā)送端 Filter Graph 如圖4所示：

圖4   實(shí)現(xiàn)了幀率控制的Filter Graph 

4 總結(jié)

    該系統(tǒng)采用了DirectShow技術(shù)實(shí)現(xiàn)了MPEG-4視頻數(shù)據(jù)的傳輸，視頻數(shù)據(jù)的傳輸采用了RTP協(xié)議。而且還實(shí)現(xiàn)了遠(yuǎn)端幀率的控制，該系統(tǒng)可以很方便的移植到未來(lái)3G網(wǎng)絡(luò)的圖像傳輸系統(tǒng)中。對(duì)編解碼器進(jìn)行研究，采用H.264技術(shù)實(shí)現(xiàn)編解碼Filter是下一步要完成的工作，當(dāng)然在傳輸質(zhì)量（QoS）方面也要深入進(jìn)行研究。