基于PXA255和嵌入式QT的IP視頻電話設(shè)計(jì)

傳統(tǒng)的IP電話是將語音信號轉(zhuǎn)變成數(shù)字信號，進(jìn)行打包和壓縮，在數(shù)據(jù)網(wǎng)上進(jìn)行傳輸。但近年來，人們已經(jīng)不滿足于只能聽到語音，還希望能見到對方的圖像。本系統(tǒng)就是針對人們的這一需求，在Intel的PXA255平臺上利用QT/Embedded圖形開發(fā)工具設(shè)計(jì)的一個(gè)IP視頻電話系統(tǒng)。

1 硬件系統(tǒng)結(jié)構(gòu)

     整個(gè)系統(tǒng)主要是在Intel PXA255評估平臺Sitsang板上實(shí)現(xiàn)的。PXA255是基于Intel的Xscale架構(gòu)的嵌入式處理器，該平臺配備了大量的硬件資源。整個(gè)系統(tǒng)的硬件結(jié)構(gòu)如圖1所示。

2 軟件系統(tǒng)結(jié)構(gòu)

    系統(tǒng)中采用的是基于Qt/Embedded 2.3.10版本的嵌入式圖形庫。該圖形庫是基于Linux系統(tǒng)的Frame Buffer機(jī)制的，并使用基于該圖形庫的Qtopia 2.2.1 PDA版本的窗口環(huán)境管理系統(tǒng)。Qt/Embedded是一個(gè)完整的自包含GUI和基于Linux的嵌入式平臺開發(fā)工具，是QT的嵌入式開發(fā)版本。

    音頻和視頻信號的采集、壓縮、播放和傳輸都是建立在該圖形界面和嵌入式Linux內(nèi)核以上的，所以，在交叉編譯移植嵌入式Linux內(nèi)核時(shí)，要正確配置對USB、Video4Linux、攝像頭和音頻設(shè)備的支持以及對Frame Buffer機(jī)制的支持。交叉編譯嵌入式QT時(shí)，要配置使其支持多線程、JPEG算法庫、音頻設(shè)備以及qvfb（基于X11的虛擬Frame Buffer機(jī)制）。本文主要討論IP視頻電話系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)，故嵌入式Linux內(nèi)核和嵌入式QT的配置編譯過程不再詳述。整個(gè)系統(tǒng)的軟件結(jié)構(gòu)如圖2所示。

3 系統(tǒng)的具體設(shè)計(jì)

    本IP視頻電話系統(tǒng)主要由音頻采集/播放模塊、視頻采集/播放模塊和網(wǎng)絡(luò)傳輸模塊組成。音頻和視頻模塊采樣本地?cái)?shù)據(jù)，壓縮處理后交給網(wǎng)絡(luò)傳輸模塊，由其發(fā)送到另一對話端，并從網(wǎng)絡(luò)傳輸模塊接收對方的音頻和視頻數(shù)據(jù)處理后進(jìn)行播放。

3.1 網(wǎng)絡(luò)傳輸模塊設(shè)計(jì)

    系統(tǒng)啟動(dòng)后，本地服務(wù)器端即對5000端口進(jìn)行監(jiān)聽。若有IP電話連接進(jìn)來，則接受連接，為其分配套接字資源，并根據(jù)通話類型，生成相應(yīng)的音頻、視頻類實(shí)例來處理相應(yīng)的音頻、視頻數(shù)據(jù)。系統(tǒng)可以實(shí)現(xiàn)視頻通話，也可以只進(jìn)行語音通話，即實(shí)現(xiàn)傳統(tǒng)IP電話的功能，因?yàn)橐纛l、視頻數(shù)據(jù)格式不同，需要分別做不同的處理，故采用兩個(gè)不同的套接字來進(jìn)行處理，網(wǎng)絡(luò)傳輸模塊服務(wù)器端的基本流程如圖3所示。

    本地網(wǎng)絡(luò)服務(wù)器端用從QServerSocket類繼承的子類IPphoneServer實(shí)現(xiàn)。QT/Embedded類庫已經(jīng)對網(wǎng)絡(luò)操作進(jìn)行了很好的封裝，所以系統(tǒng)只利用QT的信號和槽機(jī)制，給IPphoneServer類增加一個(gè)新的信號－－VoidnewConnect（int）。信號所帶的參數(shù)為套接字號，并重載了QServerSocket的虛子函數(shù)成員void newConnect（intsocket）。一旦發(fā)現(xiàn)有新的連接，它將把服務(wù)器端給新連接指定的接收套接字號（int socket）通過信號newConnect（int）發(fā)送出來，以便主程序設(shè)置對應(yīng)的數(shù)據(jù)處理套接字。

     在系統(tǒng)主程序中啟動(dòng)服務(wù)器，并將服務(wù)器實(shí)例的newConnect（int）信號連接到主程序的newConnect（int）槽函數(shù)上。一旦來了新的連接，server的newConnect（int）被發(fā)出，則由主程序的newConnect（int）槽函數(shù)接收套接字號并判斷是音頻還是視頻連接后，將其指定給相應(yīng)的音頻或視頻數(shù)據(jù)傳輸套接字，啟動(dòng)服務(wù)器的代碼如下：

     server＝new IPphoneServer（（tPort－＞text（））.toUShort（））；connect（server，SIGNAL（newConnect（int）），SLOT（new－Connect（int）））；

    具體與音頻/視頻模塊相關(guān)連進(jìn)行數(shù)據(jù)傳輸?shù)奶捉幼謴腝Socket類繼承來的子類IPPDataSock實(shí)現(xiàn)，它增加了一個(gè)新的QDataStream類指針成員變量ds來進(jìn)行數(shù)據(jù)的傳輸處理，在IPPDataSock的構(gòu)造函數(shù)中被實(shí)例化。

    為音頻和視頻進(jìn)行數(shù)據(jù)傳輸?shù)奶捉幼謱?shí)例分別為aDataSock和vDataSock。若從已方發(fā)起連接，先通過QT的信號和槽機(jī)制設(shè)定相應(yīng)的套接字連接、關(guān)閉和其他處理槽函數(shù)，再使用connectToHost（）函數(shù)連接到遠(yuǎn)端服務(wù)器即可。音頻套接字實(shí)例化代碼如下：

aDataSock＝new IPPDataSock（this）； connect（aDataSock，SIGNAL（connected（）），SLOT（tConnected（）））； connect（aDataSock，SIGNAL（connectionClosed（）），SLOT（tClosed（）））； connect（aDataSock，SIGNAL（readyRead（）），IPAudio，SLOT（canPlay（）））； connect（aDataSock，SIGNAL（error（int）），SLOT（tError（int）））； aDataSock－＞connectToHost（tServer－＞text（），（tPort－＞text（））.toUShort（））；

3.2 音頻采集/播放模塊設(shè)計(jì)

    音頻采集/播放模塊主要是實(shí)現(xiàn)IP電話的音頻處理，由自定義類IPAudio來實(shí)現(xiàn)，因?yàn)橄到y(tǒng)要同時(shí)發(fā)送本地音頻數(shù)據(jù)給對話端并接收來自對話端的音頻數(shù)據(jù)在本地播放，而只有一個(gè)音頻編解碼設(shè)備，所以音頻設(shè)備必須以全雙工方式工作，音頻采集/播放模塊的主要工作流程如圖4所示。

     系統(tǒng)采用的是Linux操作系統(tǒng)，其下的音頻編程遵循OSS（Open Sound System）音頻接口標(biāo)準(zhǔn)，OSS是Unix/Linux平臺上統(tǒng)一的音頻接口，只要音頻處理應(yīng)用程序按照OSS的API來編寫，它就可以提供源代碼級的可移植性。

     Linux下的設(shè)備全部使用設(shè)備文件來管理，本系統(tǒng)使用的數(shù)字音頻設(shè)備為/dev/dsp?？梢圆シ呕蜾浿茢?shù)字化的聲音，讀這個(gè)設(shè)備就相當(dāng)于錄音，寫這個(gè)設(shè)備就相當(dāng)于放音，它使用8位（無符號）線性編碼，其主要指標(biāo)參數(shù)有：采樣速率（電話為8Kbps）、聲道數(shù)目（單聲道、立體聲）和采樣分辨率（8位、16位）。

    在進(jìn)行音頻的采集和播放之前，必須先打開該音頻設(shè)備并適當(dāng)設(shè)置一些工作參數(shù)，這些都在IP Audio類的構(gòu)造函數(shù)中實(shí)現(xiàn)，其中的一些參數(shù)和操作都被定義在"soundcard.h"頭文件中。

    首先，要打開音頻設(shè)備。因?yàn)橄到y(tǒng)在通話時(shí)要同時(shí)進(jìn)行錄音和放音，所以使用讀寫模式，相關(guān)代碼片斷如下：

int audio_fd；
if（（audio_fd＝open（"/dev/dsp"，O_RDWR））＜0） …//錯(cuò)誤處理
打開設(shè)備后，為了正常地工作，設(shè)置一些相應(yīng)的工作參數(shù)。

1）先設(shè)置為全雙工工作模式，并檢查是否設(shè)置成功，代碼如下：



    設(shè)置好各個(gè)參數(shù)后，就可以進(jìn)行視頻的采集和播放了，采集及錄音使用OSS提供的read（）函數(shù)，播放則使用對應(yīng)的write（）函數(shù)，直接對音頻設(shè)備/dev/dsp進(jìn)行操作，由于進(jìn)行IP電話通話時(shí)，要進(jìn)行不間斷錄音和放音，但音頻設(shè)備的輸入/輸出緩沖區(qū)的大小是有限的，必須不斷循環(huán)使用，因此采用QT/Embedded的信號和槽機(jī)制來實(shí)現(xiàn)，系統(tǒng)采集完一次數(shù)據(jù)并發(fā)送出去后，給IPAudio類自身發(fā)送一個(gè)canRecord（）信號，而采集函數(shù)本身是一個(gè)槽，接收到canPlay（）信號后又開始下一次采集。這樣循環(huán)不斷，代碼片斷如下：

public slots； void record（）{ int len； if（ioctl（audio_fd，SOUND_PCM_SYNC，0）＝＝－1） //同步 … //錯(cuò)誤處理 if（len＝read（audio_fd，buf，1024））！＝1024） //錄音 printf（"Read wrong number of bytes ％d "，len）； else{ （＊（aDataSock－＞ds））＜＜buf； //發(fā)送采集的音頻數(shù)據(jù)給對話端 emit canRecord（）；//發(fā)送可錄音信號 } }

    當(dāng)系統(tǒng)接收到對話端發(fā)送過來的音頻數(shù)據(jù)時(shí)，音頻接收套接字aDataSock發(fā)送一個(gè)readyRead（）數(shù)據(jù)已準(zhǔn)備好的信號給IPAudio類的槽函數(shù)play（）來播放這段音頻。套接字aDataSock初始化時(shí)的語句
connect（aDatasock，SIGNAL（readyRead（）），IPAudio，SLOT（play（）））；

    即實(shí)現(xiàn)這個(gè)功能，播放時(shí)為了避免要播放的數(shù)據(jù)太多而導(dǎo)致設(shè)備被阻塞，還須先檢測音頻設(shè)備的輸出緩沖區(qū)是否有足夠的空間，以使系統(tǒng)能夠正常工作。代碼如下：



    這樣，系統(tǒng)就可以實(shí)現(xiàn)無阻塞的音頻采集和播放，一個(gè)傳統(tǒng)的IP語音電話就實(shí)現(xiàn)了，系統(tǒng)退出時(shí)，用close（）函數(shù)關(guān)閉音頻設(shè)備即可。

3.3 視頻采集/播放模塊設(shè)計(jì)

    視頻采集和播放模塊實(shí)現(xiàn)了通過攝像頭采集本端影像視頻傳輸給對話方并接收對方的視頻數(shù)據(jù)還原成影像顯示在本端屏幕上的功能，也是本IP電話系統(tǒng)的先進(jìn)之處，程序中用多的一些Video4Linux支持的專用視頻數(shù)據(jù)結(jié)構(gòu)如下：

    1）video_capability，包含攝像頭的基本信息，如設(shè)備名稱、支持的最大最小分辨率、信號源信息等，分別對應(yīng)著結(jié)構(gòu)體中成員變量name[32]、maxwidth、maxheight、minwidth、minheight、channels（信號源個(gè)數(shù)）、type等；

    2）video_picture，包含設(shè)備采集圖像的各種屬性，如brightness（亮度）、hue（色調(diào)）、contrast（對比度）、whiteness（色度）、depth（深度）等；

    3）video_mmap，用于內(nèi)存映射；

    4）video_mbuf，利用mmap進(jìn)行映射的幀信息，實(shí)際上是輸入到攝像頭存儲器緩沖中的幀信息，包括size（幀的大小）、frames（最大支持的幀數(shù)）、offsets（每幀相對基址的偏移）；

    5）video_Window，包括設(shè)備采集窗口的各種參數(shù)。 

    視頻采集/播放模塊的基本工作流程如圖5所示。

    這樣攝像頭設(shè)備所采集的內(nèi)容就映射到了內(nèi)存緩沖區(qū)pixBuf中，該映射內(nèi)容區(qū)可讀可寫并可與其他進(jìn)程共享。將系統(tǒng)設(shè)置為單幀采集模式，當(dāng)1幀數(shù)據(jù)采集完畢時(shí)，通過vDataSock套接字將視頻數(shù)據(jù)傳送給對方，然后發(fā)一個(gè)canSample（）信號給自身再開始下一幀數(shù)據(jù)的采集，如下：


    在采集視頻數(shù)據(jù)的同時(shí)，還要顯示對方傳輸過來的視頻數(shù)據(jù)，當(dāng)對方的數(shù)據(jù)被接收到時(shí)，系統(tǒng)利用vDataSock的readyRead（）信號告訴IPVideo將其顯示出來。IPVideo使用QT/Embedded的QImage和QPainter類來實(shí)現(xiàn)圖像數(shù)據(jù)的顯示，先初始化，為了使圖像重畫時(shí)不閃爍，設(shè)置WRepaintNoErase重畫不擦除標(biāo)志，如下：

p＝new QPainter（）； image＝new QImage（（uchar＊）buff，w，h，32，0，0，（QImage：：Endian）0）； setWFlags（getWFlags（）|Qt：：WRepaintNoErase）；

    重載IPVideo的paintEvent（）函數(shù)，加載buff中接收過來的視頻數(shù)據(jù)，并在屏幕上畫出來，代碼如下：

void paintEvent（QPaintEvent＊）{ image－＞loadFromData（（uchar＊）buff，frameSize）； p－＞begin（this）； p－＞drawImage（0，0，＊image）； p－＞end（）； }

    在IPVideo中增加一個(gè)槽函數(shù)show（），專門接收vDataSock的readyRead（）信號，一旦接收到了，就通過vDataSock的ds將視頻數(shù)據(jù)流導(dǎo)入buff緩沖區(qū)中，并調(diào)用updata（）函數(shù)，該函數(shù)將激活paint事件，調(diào)用paintEvent（）函數(shù)進(jìn)行視頻的更新重畫。這樣，隨著不停地接收到對方的圖像數(shù)據(jù)，就實(shí)現(xiàn)了遠(yuǎn)端視頻的播放，雙方就能進(jìn)行語音和視頻同步的IP通話了。

4 小結(jié)

    本系統(tǒng)主要是針對嵌入式手持設(shè)備，可與PC或同類型的手持機(jī)進(jìn)行IP視頻電話通信，擴(kuò)展了傳統(tǒng)IP電話的功能，彌補(bǔ)了沒有圖像的缺點(diǎn)，并且體積小、攜帶方便、全圖形界面，操作簡單，采用無線上網(wǎng)，只要網(wǎng)絡(luò)支持，可以隨時(shí)隨地使用，另外還可以做終端監(jiān)控之用，可以固定也可以移動(dòng)監(jiān)控，廣泛地應(yīng)用于工廠、銀行及小區(qū)等眾多場合，具有比較廣闊的市場和應(yīng)用前景。