基于Android智能手機(jī)的遠(yuǎn)程視頻監(jiān)控的設(shè)計(jì)
掃描二維碼
隨時(shí)隨地手機(jī)看文章
摘要：為了實(shí)現(xiàn)移動(dòng)視頻監(jiān)控，提出了一種基于智能手機(jī)的遠(yuǎn)程視頻監(jiān)控系統(tǒng)。介紹了監(jiān)控系統(tǒng)的體系結(jié)構(gòu)和硬件平臺(tái)，闡述了嵌入式操作系統(tǒng)Android 應(yīng)用程序的開(kāi)發(fā)方法，并結(jié)合實(shí)際的應(yīng)用系統(tǒng)，重點(diǎn)論述了Android 平臺(tái)上視頻監(jiān)控客戶(hù)端的設(shè)計(jì)思路。移植了音視頻解碼庫(kù)FFmpeg 進(jìn)行H. 264 視頻解碼，并采用OpenGL ES 實(shí)現(xiàn)實(shí)時(shí)視頻顯示。在無(wú)線(xiàn)局域網(wǎng)絡(luò)的環(huán)境下對(duì)視頻監(jiān)控終端進(jìn)行測(cè)試，達(dá)到了利用手機(jī)進(jìn)行移動(dòng)視頻監(jiān)控的目的。
隨著多媒體技術(shù)、視頻壓縮技術(shù)以及網(wǎng)絡(luò)傳輸技術(shù)的發(fā)展，視頻監(jiān)控正朝著數(shù)字化、網(wǎng)絡(luò)化、智能化方向持續(xù)發(fā)展，并越來(lái)越廣泛地滲透到政府、教育、娛樂(lè)、醫(yī)療等領(lǐng)域。目前大部分的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)是基于WEB 服務(wù)器的， 監(jiān)控終端為PC機(jī)，用戶(hù)使用瀏覽器獲取監(jiān)控服務(wù)。由于互聯(lián)網(wǎng)接入地點(diǎn)的限制，普通的網(wǎng)絡(luò)視頻監(jiān)控?zé)o法滿(mǎn)足用戶(hù)在任何時(shí)間、任何地點(diǎn)獲取監(jiān)控信息的需求。
本文介紹了一種以Android 智能手機(jī)為終端的視頻監(jiān)控系統(tǒng)，該系統(tǒng)將傳統(tǒng)的視頻監(jiān)控與移動(dòng)多媒體技術(shù)相結(jié)合，真正實(shí)現(xiàn)了移動(dòng)視頻監(jiān)控。
1系統(tǒng)的結(jié)構(gòu)
本文中的視頻監(jiān)控系統(tǒng)采用C/ S 體系結(jié)構(gòu)。
如圖1 所示，該系統(tǒng)由視頻采集端（ 攝像頭），視頻服務(wù)器以及監(jiān)控客戶(hù)端等構(gòu)成。
圖1視頻監(jiān)控系統(tǒng)總體結(jié)構(gòu)
視頻服務(wù)器是整個(gè)系統(tǒng)的核心部分，它將攝像頭采集到的原始模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)，并對(duì)視頻數(shù)據(jù)進(jìn)行編碼壓縮，最后通過(guò)Internet 將壓縮后的數(shù)據(jù)傳送至客戶(hù)端。客戶(hù)端通過(guò)TCP/ IP 協(xié)議訪(fǎng)問(wèn)服務(wù)器，通過(guò)對(duì)視頻數(shù)據(jù)的接收、解碼以及顯示，實(shí)現(xiàn)實(shí)時(shí)預(yù)覽功能?？蛻?hù)端也可以根據(jù)用戶(hù)需求發(fā)送控制命令，實(shí)現(xiàn)對(duì)前端設(shè)備的控制操作，如云臺(tái)控制等。
服務(wù)器部分采用Hi3515 處理器芯片為硬件平臺(tái)，并移植了嵌入式操作系統(tǒng)Linux 作為整個(gè)系統(tǒng)運(yùn)行的軟件環(huán)境。Hi3515 是一款基于ARM9 處理器內(nèi)核以及視頻硬件加速引擎的高性能通信媒體處理器，具有H. 264 和MJPEG 多協(xié)議編解碼能力。
本文以基于Hi3515 的遠(yuǎn)程視頻監(jiān)控系統(tǒng)為例，重點(diǎn)介紹了Android 平臺(tái)上監(jiān)控客戶(hù)端的設(shè)計(jì)過(guò)程。
2Android 開(kāi)發(fā)介紹
Android 是基于Linux 開(kāi)放性?xún)?nèi)核的操作系統(tǒng)，是Google 公司在2007 年11 月5 日公布的手機(jī)操作系統(tǒng)。Android 采用軟件堆層的架構(gòu)，主要分為三部分：底層以L(fǎng)inux 核心為基礎(chǔ)，提供基本功能；中間層包括函數(shù)庫(kù)和虛擬機(jī)；最上層是各種應(yīng)用軟件。
Android 平臺(tái)顯著的開(kāi)放性使其擁有眾多的開(kāi)發(fā)者，應(yīng)用日益豐富，不僅應(yīng)用于智能手機(jī)，也向平板電腦、智能MP4 方面急速擴(kuò)張。
Android 應(yīng)用程序用Java 語(yǔ)言編寫(xiě)，每個(gè)應(yīng)用程序都擁有一個(gè)獨(dú)立的Dalvik 虛擬機(jī)實(shí)例，這個(gè)實(shí)例駐留在一個(gè)由Linux 內(nèi)核管理的進(jìn)程中。Dalvik支持Java Native Interface（JNI）編程方式，Android 應(yīng)用程序可以通過(guò)JNI 調(diào)用C/ C++開(kāi)發(fā)的共享庫(kù)，實(shí)現(xiàn)"Java+C冶的編程方式。開(kāi)發(fā)Android 應(yīng)用程序最簡(jiǎn)捷的方式是安裝Android SDK 和Eclipse IDE.
Eclipse 提供了一個(gè)豐富的Java 環(huán)境，Java 代碼通過(guò)編譯后，Android Developer Tools 會(huì)將它打包，用于安裝。
3 監(jiān)控客戶(hù)端的設(shè)計(jì)與實(shí)現(xiàn)
基于Android 平臺(tái)的監(jiān)控客戶(hù)端的總體框架如圖2 所示，分別由網(wǎng)絡(luò)通訊模塊、視頻解碼模塊以及視頻顯示模塊等構(gòu)成。其中網(wǎng)絡(luò)通訊模塊接收來(lái)自服務(wù)器的所有數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行解析，并將視頻數(shù)據(jù)存入到視頻緩沖區(qū)。視頻解碼模塊負(fù)責(zé)從視頻緩沖區(qū)中讀取數(shù)據(jù)并送入H. 264 解碼器進(jìn)行解碼。最后，采用OpenGL 圖形庫(kù)將解碼后圖像繪制到屏幕上實(shí)現(xiàn)視頻播放。
圖2客戶(hù)端總體框架。 3. 1 H. 264 視頻解碼器的實(shí)現(xiàn) 在網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)中，視頻的編碼壓縮是非常必要和關(guān)鍵的工作，沒(méi)有經(jīng)過(guò)壓縮的海量數(shù)據(jù)對(duì)網(wǎng)絡(luò)傳輸系統(tǒng)來(lái)說(shuō)是無(wú)法承受的[7] .H.264 是目前最先進(jìn)的視頻壓縮算法，它由視頻編碼層VCL 和網(wǎng)絡(luò)提取層NAL 兩部分組成。其中，VCL 進(jìn)行視頻編解碼，包括運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)、變換編碼和熵編碼等；NAL 采用適當(dāng)?shù)母袷綄?duì)VCL 視頻數(shù)據(jù)進(jìn)行封裝打包。H.264 標(biāo)準(zhǔn)對(duì)編碼效率和圖像質(zhì)量進(jìn)行了諸多改進(jìn)，且抗丟包性能和抗誤碼性能好，適應(yīng)各種網(wǎng)絡(luò)環(huán)境，非常適合于對(duì)壓縮率要求高，網(wǎng)絡(luò)環(huán)境復(fù)雜的移動(dòng)視頻監(jiān)控。 客戶(hù)端接收的數(shù)據(jù)是經(jīng)過(guò)H.264 編碼壓縮后的數(shù)據(jù)，需要經(jīng)過(guò)H.264 解碼還原視頻圖像后才能夠顯示，因此，H.264 解碼器是客戶(hù)端的關(guān)鍵部分。這里移植了開(kāi)源的音視頻解碼庫(kù)FFmpeg 進(jìn)行H.264 解碼。在Android 應(yīng)用程序中使用FFmpeg 的步驟如下： （1）在Linux 環(huán)境下安裝Android 原生開(kāi)發(fā)工具包NDK. （2） 創(chuàng)建jni 文件夾，將FFmpeg 工程復(fù)制到文件夾下。創(chuàng)建H264Decoder. c 源文件，提供Android程序使用的接口函數(shù)，文件需要包括JNI 的操作頭文件<jni. h >, 且函數(shù)名有固定的形式， 如com_ipcamera_PreView_H264Decoder 表示com_ipcamera包下面PreView 類(lèi)中H264Decoder 函數(shù)。 （3）創(chuàng)建Android. mk 文件，該文件包含正確構(gòu)建和命名庫(kù)的MakeFile 說(shuō)明。分別在LOCAL_SRC_FILES 和LOCAL_C_INCLUDES 項(xiàng)中添加編譯模塊所需源文件和頭文件目錄。 （4）執(zhí)行NDK 開(kāi)發(fā)包中的ndk鄄build 腳本，生成對(duì)應(yīng)的。 so 共享庫(kù)，并復(fù)制到Android 工程下的libs/armeabi 目錄下。 （5） 在Android 程序中通過(guò)System. loadLibrary（"庫(kù)名稱(chēng)冶）加載所需要的庫(kù)，加載成功后，應(yīng)用程序就可以使用H264Decoder 函數(shù)進(jìn)行H.264 的解碼。 3. 2 OpenGL ES 繪圖 為了提高繪圖的效率，客戶(hù)端使用OpenGL ES實(shí)現(xiàn)視頻圖像的顯示。OpenGL ES 是一個(gè)2D/3D輕量圖形庫(kù)，是跨平臺(tái)圖形庫(kù)OpenGL 的簡(jiǎn)化版。 OpenGL ES 專(zhuān)門(mén)針對(duì)手機(jī)、PDA 和游戲主機(jī)等嵌入式設(shè)備而設(shè)計(jì)，目的是為了充分利用硬件加速，適合復(fù)雜的、圖形密集的程序。 Android 中使用GLSurfaceView 來(lái)顯示OpenGL視圖，該類(lèi)繼承至SurfaceView 并包含了一個(gè)專(zhuān)門(mén)用于渲染3D 的接口Renderer,主要通過(guò)實(shí)現(xiàn)ON鄄DrawFrame、onSurfaceChanged 以及onSurfaceCreated等方法構(gòu)建所需的Renderer.解碼器解碼一幀圖像后，調(diào)用GLSurfaceView 的requeSTRender 方法通知OpenGL ES 完成視頻圖像的顯示。使用OpenGL 繪圖的核心代碼如下： 3. 3多線(xiàn)程設(shè)計(jì) 視頻數(shù)據(jù)的接收和解碼都是復(fù)雜、持續(xù)的過(guò)程，如果其中一個(gè)過(guò)程出現(xiàn)阻塞會(huì)影響整個(gè)程序的運(yùn)行，因此，客戶(hù)端使用多線(xiàn)程實(shí)現(xiàn)數(shù)據(jù)接收和視頻解碼的并行處理。在整個(gè)程序運(yùn)行過(guò)程中，主線(xiàn)程響應(yīng)用戶(hù)操作，負(fù)責(zé)屏幕刷新工作，并創(chuàng)建兩個(gè)子線(xiàn)程：數(shù)據(jù)接收和視頻解碼子線(xiàn)程，處理過(guò)程如圖3 所示。 圖3子線(xiàn)程處理流程。 在Java 中， 多線(xiàn)程的實(shí)現(xiàn)有兩種方式： 擴(kuò)展java. lang. Thread 類(lèi)或?qū)崿F(xiàn)java. lang. Runnable 接口。這里通過(guò)繼承Thread 類(lèi)并覆寫(xiě)run（）方法實(shí)現(xiàn)兩個(gè)子線(xiàn)程。在多線(xiàn)程的應(yīng)用中關(guān)鍵是處理好線(xiàn)程之間的同步問(wèn)題，以解決對(duì)共享存儲(chǔ)區(qū)的訪(fǎng)問(wèn)沖突，避免引起線(xiàn)程甚至整個(gè)系統(tǒng)的死鎖。Java 多線(xiàn)程主要利用synchronized 關(guān)鍵字和wait（ ）、notify（ ） 等方法實(shí)現(xiàn)線(xiàn)程間的同步。 4 結(jié)束語(yǔ) 目前，該系統(tǒng)已經(jīng)在實(shí)驗(yàn)室進(jìn)行測(cè)試，服務(wù)器輸出15fps CIF 格式的H. 264 視頻數(shù)據(jù)，客戶(hù)端安裝在Android 手機(jī)上，通過(guò)WIFI 接入無(wú)線(xiàn)局域網(wǎng)中與服務(wù)器建立連接，用戶(hù)界面如圖4 所示，可實(shí)現(xiàn)遠(yuǎn)程視頻預(yù)覽、云臺(tái)控制等操作。
圖4 監(jiān)控客戶(hù)端
隨著3G 時(shí)代的到來(lái)，數(shù)據(jù)傳輸速度有了大幅提升，為移動(dòng)實(shí)時(shí)視頻業(yè)務(wù)的實(shí)現(xiàn)創(chuàng)造更好的條件。
手機(jī)用戶(hù)可以直接接入3G 網(wǎng)絡(luò)訪(fǎng)問(wèn)視頻監(jiān)控服務(wù)器，實(shí)現(xiàn)移動(dòng)在線(xiàn)的實(shí)時(shí)視頻監(jiān)控。由此可見(jiàn)，手機(jī)視頻監(jiān)控市場(chǎng)潛力巨大，具有很好的發(fā)展前景。
下載文檔
