當(dāng)前位置:首頁 > 嵌入式 > 嵌入式軟件
[導(dǎo)讀]基于Android智能手機(jī)的遠(yuǎn)程視頻監(jiān)控的設(shè)計(jì)

 

摘要:為了實(shí)現(xiàn)移動(dòng)視頻監(jiān)控,提出了一種基于智能手機(jī)遠(yuǎn)程視頻監(jiān)控系統(tǒng)。介紹了監(jiān)控系統(tǒng)的體系結(jié)構(gòu)和硬件平臺(tái),闡述了嵌入式操作系統(tǒng)Android 應(yīng)用程序的開發(fā)方法,并結(jié)合實(shí)際的應(yīng)用系統(tǒng),重點(diǎn)論述了Android 平臺(tái)上視頻監(jiān)控客戶端的設(shè)計(jì)思路。移植了音視頻解碼庫FFmpeg 進(jìn)行H. 264 視頻解碼,并采用OpenGL ES 實(shí)現(xiàn)實(shí)時(shí)視頻顯示。在無線局域網(wǎng)絡(luò)的環(huán)境下對(duì)視頻監(jiān)控終端進(jìn)行測(cè)試,達(dá)到了利用手機(jī)進(jìn)行移動(dòng)視頻監(jiān)控的目的。

隨著多媒體技術(shù)、視頻壓縮技術(shù)以及網(wǎng)絡(luò)傳輸技術(shù)的發(fā)展,視頻監(jiān)控正朝著數(shù)字化、網(wǎng)絡(luò)化、智能化方向持續(xù)發(fā)展,并越來越廣泛地滲透到政府、教育、娛樂、醫(yī)療等領(lǐng)域。目前大部分的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)是基于WEB 服務(wù)器的, 監(jiān)控終端為PC機(jī),用戶使用瀏覽器獲取監(jiān)控服務(wù)。由于互聯(lián)網(wǎng)接入地點(diǎn)的限制,普通的網(wǎng)絡(luò)視頻監(jiān)控?zé)o法滿足用戶在任何時(shí)間、任何地點(diǎn)獲取監(jiān)控信息的需求。

本文介紹了一種以Android 智能手機(jī)為終端的視頻監(jiān)控系統(tǒng),該系統(tǒng)將傳統(tǒng)的視頻監(jiān)控與移動(dòng)多媒體技術(shù)相結(jié)合,真正實(shí)現(xiàn)了移動(dòng)視頻監(jiān)控。

1系統(tǒng)的結(jié)構(gòu)

本文中的視頻監(jiān)控系統(tǒng)采用C/ S 體系結(jié)構(gòu)。

如圖1 所示,該系統(tǒng)由視頻采集端( 攝像頭),視頻服務(wù)器以及監(jiān)控客戶端等構(gòu)成。

圖1視頻監(jiān)控系統(tǒng)總體結(jié)構(gòu)

視頻服務(wù)器是整個(gè)系統(tǒng)的核心部分,它將攝像頭采集到的原始模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào),并對(duì)視頻數(shù)據(jù)進(jìn)行編碼壓縮,最后通過Internet 將壓縮后的數(shù)據(jù)傳送至客戶端??蛻舳送ㄟ^TCP/ IP 協(xié)議訪問服務(wù)器,通過對(duì)視頻數(shù)據(jù)的接收、解碼以及顯示,實(shí)現(xiàn)實(shí)時(shí)預(yù)覽功能??蛻舳艘部梢愿鶕?jù)用戶需求發(fā)送控制命令,實(shí)現(xiàn)對(duì)前端設(shè)備的控制操作,如云臺(tái)控制等。

服務(wù)器部分采用Hi3515 處理器芯片為硬件平臺(tái),并移植了嵌入式操作系統(tǒng)Linux 作為整個(gè)系統(tǒng)運(yùn)行的軟件環(huán)境。Hi3515 是一款基于ARM9 處理器內(nèi)核以及視頻硬件加速引擎的高性能通信媒體處理器,具有H. 264 和MJPEG 多協(xié)議編解碼能力。

本文以基于Hi3515 的遠(yuǎn)程視頻監(jiān)控系統(tǒng)為例,重點(diǎn)介紹了Android 平臺(tái)上監(jiān)控客戶端的設(shè)計(jì)過程。

2Android 開發(fā)介紹

Android 是基于Linux 開放性內(nèi)核的操作系統(tǒng),是Google 公司在2007 年11 月5 日公布的手機(jī)操作系統(tǒng)。Android 采用軟件堆層的架構(gòu),主要分為三部分:底層以Linux 核心為基礎(chǔ),提供基本功能;中間層包括函數(shù)庫和虛擬機(jī);最上層是各種應(yīng)用軟件。

Android 平臺(tái)顯著的開放性使其擁有眾多的開發(fā)者,應(yīng)用日益豐富,不僅應(yīng)用于智能手機(jī),也向平板電腦、智能MP4 方面急速擴(kuò)張。

Android 應(yīng)用程序用Java 語言編寫,每個(gè)應(yīng)用程序都擁有一個(gè)獨(dú)立的Dalvik 虛擬機(jī)實(shí)例,這個(gè)實(shí)例駐留在一個(gè)由Linux 內(nèi)核管理的進(jìn)程中。Dalvik支持Java Native Interface(JNI)編程方式,Android 應(yīng)用程序可以通過JNI 調(diào)用C/ C++開發(fā)的共享庫,實(shí)現(xiàn)"Java+C冶的編程方式。開發(fā)Android 應(yīng)用程序最簡(jiǎn)捷的方式是安裝Android SDK 和Eclipse IDE.

Eclipse 提供了一個(gè)豐富的Java 環(huán)境,Java 代碼通過編譯后,Android Developer Tools 會(huì)將它打包,用于安裝。

3 監(jiān)控客戶端的設(shè)計(jì)與實(shí)現(xiàn)

基于Android 平臺(tái)的監(jiān)控客戶端的總體框架如圖2 所示,分別由網(wǎng)絡(luò)通訊模塊、視頻解碼模塊以及視頻顯示模塊等構(gòu)成。其中網(wǎng)絡(luò)通訊模塊接收來自服務(wù)器的所有數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行解析,并將視頻數(shù)據(jù)存入到視頻緩沖區(qū)。視頻解碼模塊負(fù)責(zé)從視頻緩沖區(qū)中讀取數(shù)據(jù)并送入H. 264 解碼器進(jìn)行解碼。最后,采用OpenGL 圖形庫將解碼后圖像繪制到屏幕上實(shí)現(xiàn)視頻播放。

圖2客戶端總體框架。

3. 1 H. 264 視頻解碼器的實(shí)現(xiàn)

在網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)中,視頻的編碼壓縮是非常必要和關(guān)鍵的工作,沒有經(jīng)過壓縮的海量數(shù)據(jù)對(duì)網(wǎng)絡(luò)傳輸系統(tǒng)來說是無法承受的[7] .H.264 是目前最先進(jìn)的視頻壓縮算法,它由視頻編碼層VCL 和網(wǎng)絡(luò)提取層NAL 兩部分組成。其中,VCL 進(jìn)行視頻編解碼,包括運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)、變換編碼和熵編碼等;NAL 采用適當(dāng)?shù)母袷綄?duì)VCL 視頻數(shù)據(jù)進(jìn)行封裝打包。H.264 標(biāo)準(zhǔn)對(duì)編碼效率和圖像質(zhì)量進(jìn)行了諸多改進(jìn),且抗丟包性能和抗誤碼性能好,適應(yīng)各種網(wǎng)絡(luò)環(huán)境,非常適合于對(duì)壓縮率要求高,網(wǎng)絡(luò)環(huán)境復(fù)雜的移動(dòng)視頻監(jiān)控。

客戶端接收的數(shù)據(jù)是經(jīng)過H.264 編碼壓縮后的數(shù)據(jù),需要經(jīng)過H.264 解碼還原視頻圖像后才能夠顯示,因此,H.264 解碼器是客戶端的關(guān)鍵部分。這里移植了開源的音視頻解碼庫FFmpeg 進(jìn)行H.264 解碼。在Android 應(yīng)用程序中使用FFmpeg 的步驟如下:

[!--empirenews.page--]

(1)在Linux 環(huán)境下安裝Android 原生開發(fā)工具包NDK.

(2) 創(chuàng)建jni 文件夾,將FFmpeg 工程復(fù)制到文件夾下。創(chuàng)建H264Decoder. c 源文件,提供Android程序使用的接口函數(shù),文件需要包括JNI 的操作頭文件<jni. h >, 且函數(shù)名有固定的形式, 如com_ipcamera_PreView_H264Decoder 表示com_ipcamera包下面PreView 類中H264Decoder 函數(shù)。

(3)創(chuàng)建Android. mk 文件,該文件包含正確構(gòu)建和命名庫的MakeFile 說明。分別在LOCAL_SRC_FILES 和LOCAL_C_INCLUDES 項(xiàng)中添加編譯模塊所需源文件和頭文件目錄。

(4)執(zhí)行NDK 開發(fā)包中的ndk鄄build 腳本,生成對(duì)應(yīng)的。 so 共享庫,并復(fù)制到Android 工程下的libs/armeabi 目錄下。

(5) 在Android 程序中通過System. loadLibrary("庫名稱冶)加載所需要的庫,加載成功后,應(yīng)用程序就可以使用H264Decoder 函數(shù)進(jìn)行H.264 的解碼。

3. 2 OpenGL ES 繪圖

為了提高繪圖的效率,客戶端使用OpenGL ES實(shí)現(xiàn)視頻圖像的顯示。OpenGL ES 是一個(gè)2D/3D輕量圖形庫,是跨平臺(tái)圖形庫OpenGL 的簡(jiǎn)化版。

OpenGL ES 專門針對(duì)手機(jī)、PDA 和游戲主機(jī)等嵌入式設(shè)備而設(shè)計(jì),目的是為了充分利用硬件加速,適合復(fù)雜的、圖形密集的程序。

Android 中使用GLSurfaceView 來顯示OpenGL視圖,該類繼承至SurfaceView 并包含了一個(gè)專門用于渲染3D 的接口Renderer,主要通過實(shí)現(xiàn)ON鄄DrawFrame、onSurfaceChanged 以及onSurfaceCreated等方法構(gòu)建所需的Renderer.解碼器解碼一幀圖像后,調(diào)用GLSurfaceView 的requeSTRender 方法通知OpenGL ES 完成視頻圖像的顯示。使用OpenGL 繪圖的核心代碼如下:

3. 3多線程設(shè)計(jì)

視頻數(shù)據(jù)的接收和解碼都是復(fù)雜、持續(xù)的過程,如果其中一個(gè)過程出現(xiàn)阻塞會(huì)影響整個(gè)程序的運(yùn)行,因此,客戶端使用多線程實(shí)現(xiàn)數(shù)據(jù)接收和視頻解碼的并行處理。在整個(gè)程序運(yùn)行過程中,主線程響應(yīng)用戶操作,負(fù)責(zé)屏幕刷新工作,并創(chuàng)建兩個(gè)子線程:數(shù)據(jù)接收和視頻解碼子線程,處理過程如圖3 所示。

圖3子線程處理流程。

在Java 中, 多線程的實(shí)現(xiàn)有兩種方式: 擴(kuò)展java. lang. Thread 類或?qū)崿F(xiàn)java. lang. Runnable 接口。這里通過繼承Thread 類并覆寫run()方法實(shí)現(xiàn)兩個(gè)子線程。在多線程的應(yīng)用中關(guān)鍵是處理好線程之間的同步問題,以解決對(duì)共享存儲(chǔ)區(qū)的訪問沖突,避免引起線程甚至整個(gè)系統(tǒng)的死鎖。Java 多線程主要利用synchronized 關(guān)鍵字和wait( )、notify( ) 等方法實(shí)現(xiàn)線程間的同步。

4 結(jié)束語

目前,該系統(tǒng)已經(jīng)在實(shí)驗(yàn)室進(jìn)行測(cè)試,服務(wù)器輸出15fps CIF 格式的H. 264 視頻數(shù)據(jù),客戶端安裝在Android 手機(jī)上,通過WIFI 接入無線局域網(wǎng)中與服務(wù)器建立連接,用戶界面如圖4 所示,可實(shí)現(xiàn)遠(yuǎn)程視頻預(yù)覽、云臺(tái)控制等操作。

圖4 監(jiān)控客戶端

隨著3G 時(shí)代的到來,數(shù)據(jù)傳輸速度有了大幅提升,為移動(dòng)實(shí)時(shí)視頻業(yè)務(wù)的實(shí)現(xiàn)創(chuàng)造更好的條件。

手機(jī)用戶可以直接接入3G 網(wǎng)絡(luò)訪問視頻監(jiān)控服務(wù)器,實(shí)現(xiàn)移動(dòng)在線的實(shí)時(shí)視頻監(jiān)控。由此可見,手機(jī)視頻監(jiān)控市場(chǎng)潛力巨大,具有很好的發(fā)展前景。

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場(chǎng)的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤率延續(xù)升勢(shì) 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競(jìng)爭(zhēng)力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競(jìng)爭(zhēng)優(yōu)勢(shì)...

關(guān)鍵字: 通信 BSP 電信運(yùn)營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場(chǎng) NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡(jiǎn)稱"軟通動(dòng)力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉