當(dāng)前位置:首頁 > 嵌入式 > 嵌入式硬件

隨著寬帶有線和無線網(wǎng)絡(luò)基礎(chǔ)設(shè)施的完善以及全球安防市場需求的增長,視頻監(jiān)控的應(yīng)用正呈爆發(fā)性的增長態(tài)勢。視頻監(jiān)控系統(tǒng)的發(fā)展趨勢非常明顯,在經(jīng)歷了數(shù)字化和網(wǎng)絡(luò)化之后,下一個重要的趨勢就是智能化,即智能監(jiān)控和視頻分析技術(shù)的應(yīng)用。

傳統(tǒng)的視頻監(jiān)控由人工進(jìn)行視頻監(jiān)測發(fā)現(xiàn)安全隱患或異常狀態(tài),或者用于事后分析,這種應(yīng)用具有其固有的缺點,難以實現(xiàn)實時的安全監(jiān)控和檢測管理。帶有智能分析功能的監(jiān)控系統(tǒng)可以通過區(qū)分監(jiān)控對象的外形、動作等特征,做到主動收集、分析數(shù)據(jù),并根據(jù)預(yù)設(shè)條件執(zhí)行報警、記錄、分析等動作。智能監(jiān)控系統(tǒng)可以運行于服務(wù)器,也可以運行在基于DSP的嵌入式系統(tǒng)上,而后者已逐漸成為主流。

智能視頻的應(yīng)用大體上可以分安防、人體行為檢測和智能交通三方面的應(yīng)用。其中安防應(yīng)用是被廣泛認(rèn)為是最具潛力的市場,它包括以下幾個應(yīng)用類別:入侵檢測,可以自動檢測出視頻畫面中的運動行為特征;物品移除檢測,可以自動檢測物品搬移事件——當(dāng)防區(qū)內(nèi)某特定位置的物品被拿走或搬走時發(fā)出報警;遺留物檢測,可以對遺棄物進(jìn)行自動檢測——當(dāng)物品在某個防區(qū)內(nèi)被放置或遺棄的時候自動報警;智能跟蹤,可以使攝像機(jī)對自身的云臺和變焦鏡頭進(jìn)行自主PTZ驅(qū)動。人體行為檢測應(yīng)用包括脫崗檢測(可以實現(xiàn)自動檢測崗哨人員就位情況)、徘徊檢測(對重要區(qū)域人體徘徊檢測)。智能交通應(yīng)用包括:對非法停留的交通工具進(jìn)行檢測,當(dāng)交通工具在防區(qū)內(nèi)非法停留時發(fā)出報警;車輛逆行檢測,及時辨別逆行車輛。

隨著準(zhǔn)確率和可靠性逐步提高及產(chǎn)品成本的下降,智能視頻在越來越多的場合得到了應(yīng)用,它能夠替代部分安防設(shè)備,降低安保人員的工作強(qiáng)度,提高工作效率,減少管理成本。事實上,智能視頻的應(yīng)用具有非常巨大的潛力。隨著技術(shù)日趨成熟,智能視頻技術(shù)的應(yīng)用領(lǐng)域正在迅速擴(kuò)展,這些應(yīng)用主要包括上述的安防、交通以及零售、服務(wù)等行業(yè),如人數(shù)統(tǒng)計、人臉識別、人群控制、注意力控制和交通流量控制等。

實時視頻監(jiān)測的需求正在快速增長,特別是隨著實時安全監(jiān)控應(yīng)用的需求增加,實時發(fā)現(xiàn)安全隱患或目標(biāo)異常行為的功能已經(jīng)具有越來越重要的現(xiàn)實意義,智能視頻監(jiān)測系統(tǒng)產(chǎn)品在這種日益增長的需求帶動下,正在成為視頻監(jiān)控應(yīng)用的新熱點。特別是隨著半導(dǎo)體技術(shù)的進(jìn)步,例如以Blackfin匯聚式處理器為代表的先進(jìn)嵌入式解決平臺方案的推出,具有極高性價比和極高實用性的智能視頻分析設(shè)備不斷推出,并在一些關(guān)鍵應(yīng)用中發(fā)揮極為重要的作用。


圖1:傳統(tǒng)的視頻監(jiān)控應(yīng)用示意圖


智能視頻應(yīng)用設(shè)計攻略
硬件平臺方案的選擇往往決定了系統(tǒng)的整體方案成本、性能、開發(fā)工具和方法的可用性,以及方案未來持續(xù)升級的可行性等,因此方案平臺選型至關(guān)重要。智能視頻應(yīng)用自身的獨特性要求在硬件平臺的選擇上進(jìn)行綜合權(quán)衡。視頻監(jiān)控系統(tǒng)的網(wǎng)絡(luò)化和智能分析要求,以及大規(guī)模工程安裝對成本、體積和功耗的限制,非標(biāo)準(zhǔn)化的智能視頻分析方法和幾乎定制化的方案優(yōu)化方式,使得結(jié)合了MCU和DSP優(yōu)勢、具有軟件設(shè)計靈活性和強(qiáng)大處理能力的匯聚式處理器方案平臺體現(xiàn)出更加明顯的優(yōu)勢。本文將結(jié)合ADI公司獨特的Blackfin匯聚式DSP處理器的特點,分析智能視頻設(shè)計中主要的設(shè)計技術(shù)要點。

一、硬件平臺選型
可定制化能力非常重要。有很多因素制約著視頻監(jiān)控系統(tǒng)智能化的應(yīng)用步伐:首先是智能監(jiān)控的視頻算法比較復(fù)雜,難于標(biāo)準(zhǔn)化,各個系統(tǒng)提供商的視頻分析軟件都有自己的獨特算法,導(dǎo)致市場上的產(chǎn)品沒有統(tǒng)一的標(biāo)準(zhǔn);其次,視頻監(jiān)控系統(tǒng)的應(yīng)用場景比較復(fù)雜,用戶的要求多樣化,所以定制化的要求比較多。因此,視頻分析方案通常需要針對客戶的應(yīng)用特點和需求進(jìn)行方案優(yōu)化,采用的算法千差萬別。此外,由于智能視頻應(yīng)用的高復(fù)雜性,對方案的處理能力提出了更高的要求。MCU+ASIC的視頻監(jiān)控傳統(tǒng)方案難以實現(xiàn)各種個性化的設(shè)計和高運算能力要求,即使選擇普通DSP+MCU的雙芯片方案通常也難以滿足智能視頻監(jiān)控應(yīng)用的復(fù)雜運算需求,需要增加協(xié)處理器,這種復(fù)雜的解決方案無論是BOM成本、功耗還是開發(fā)難度都不足取。Blackfin處理器充分發(fā)揮了MCU+DSP匯聚式架構(gòu)的優(yōu)勢,滿足了智能視頻應(yīng)用的系統(tǒng)控制和高強(qiáng)度的運算需求,特別是以BF561為代表的高性能雙內(nèi)核架構(gòu)已經(jīng)成為智能視頻應(yīng)用的首選方案平臺。

方案的可擴(kuò)展性也是需要考慮的因素。智能視頻分析應(yīng)用除了需要針對應(yīng)用環(huán)境、應(yīng)用目的進(jìn)行方案優(yōu)化外,不同的客戶可能還有其他方面的不同需求。例如,當(dāng)前一些領(lǐng)先的數(shù)字視頻監(jiān)控方案實現(xiàn)了H.264基本類@Level3.0和MPEG4 D1+CIF雙碼流的支持,未來可能擴(kuò)展到支持H.264 D1+CIF的雙碼流。隨著智能視頻分析的更廣泛應(yīng)用,如IP攝像機(jī)、無線視頻監(jiān)控、智能交通系統(tǒng)等,不同應(yīng)用都可能對各種接口功能、通信標(biāo)準(zhǔn)、用戶界面等的需求有較大的差異化,硬件平臺方案對各種需求的靈活擴(kuò)展性非常重要。同時,正如前文所述,智能視頻分析技術(shù)發(fā)展不過數(shù)年的時間,隨著技術(shù)的不斷成熟以及一些相關(guān)的標(biāo)準(zhǔn)的出臺和改進(jìn),產(chǎn)品的可升級特性至關(guān)重要,既是開發(fā)者須關(guān)注的問題也是終端客戶關(guān)切的重要特性。Blackfin DSP在算法并行處理上具有獨特優(yōu)勢,特別是ADSP-BF561采用雙DSP核,能夠?qū)崿F(xiàn)很復(fù)雜的智能視頻處理算法。

視頻應(yīng)用優(yōu)化特性。一些方案盡管具有較強(qiáng)的處理能力和可擴(kuò)展性,方案是否主要針對視頻應(yīng)用進(jìn)行過優(yōu)化設(shè)計也值得關(guān)注,因為這直接關(guān)系到設(shè)計工程師可用的軟硬件設(shè)計資源以及系統(tǒng)設(shè)計難度和可實現(xiàn)的性能。以Blackfin處理器為例,Blackfin為高強(qiáng)度、高數(shù)據(jù)率的數(shù)字和媒體處理做了專門優(yōu)化:Blackfin的幾十個DMA通道和可靈活配置的Cache很好地滿足了視頻監(jiān)控系統(tǒng)對大運算量、高數(shù)據(jù)吞吐率的要求;ADI專門開發(fā)了完全優(yōu)化的音視頻編解碼器,并免費提供給大客戶;針對視頻應(yīng)用Blackfin集成了很多硬件驅(qū)動,包括WiFi的驅(qū)動、音/視頻編解碼器的驅(qū)動;Blackfin的4個視頻算術(shù)運算單元和視頻象素指令集大大加速了視頻運算速度;在智能視頻分析的一些基礎(chǔ)算子中,例如直方圖統(tǒng)計、中值運算、Sobel運算、形態(tài)學(xué)中的膨脹運算等都可以利用Blackfin的MIN、MAX指令來消除條件跳轉(zhuǎn),節(jié)省處理器周期。不僅如此,Blackfin還支持13種非視頻數(shù)據(jù)的向量運算。適當(dāng)設(shè)計數(shù)據(jù)結(jié)構(gòu),在前背景分離、閾值計算和更新等多個環(huán)節(jié)都可以運用Blackfin的特色指令讓智能視頻分析算法更快捷。這些本身就很有效的指令中,大部分指令都能夠并行執(zhí)行,使得Blackfin的處理能力再加倍。

低功耗和穩(wěn)定性很重要。考慮到智能視頻監(jiān)控設(shè)備通常都是一周7天,每天24小時運行的,穩(wěn)定性和功耗也比較重要。在低功耗上,Blackfin處理器采用了多種節(jié)能技術(shù):基于一種選通時鐘內(nèi)核設(shè)計,可按照逐條指令來選擇性地切斷功能單元的電源;支持多種針對所需CPU動作極少期間的斷電模式;Blackfin處理器支持一種自含動態(tài)電源管理電路,借助該電路即可對工作頻率和電壓進(jìn)行獨立控制,以滿足正在執(zhí)行的算法的性能要求;大多數(shù)Blackfin處理器都提供片上內(nèi)核穩(wěn)壓電路,并可在低至0.8V的電壓下工作。而Blackfin獨特的匯聚式處理架構(gòu)、90nm工藝等打下了其領(lǐng)先的低功耗處理的基礎(chǔ)。由于高處理能力,基于Blackfin平臺的系統(tǒng)方案可以減少主芯片數(shù)量,豐富的功能和接口可以滿足各種外設(shè)和功能擴(kuò)展需求,降低元器件數(shù)量,從而保證更高的穩(wěn)定可靠性。目前在同價位DSP中Blackfin DSP的低功耗特性和穩(wěn)定性是最好的。

支持哪些嵌入式操作系統(tǒng)。智能視頻分析通常是基于網(wǎng)絡(luò)的應(yīng)用,必須要操作系統(tǒng)的支持,因此選擇具有廣泛嵌入式系統(tǒng)支持能力的解決方案非常重要,這樣能確保未來產(chǎn)品在更換操作系統(tǒng)時不至于必須更換硬件平臺,保證研發(fā)成果的持續(xù)可用性。目前可用的嵌入式操作系統(tǒng)眾多,各具優(yōu)勢,硬件平臺方案對這些操作系統(tǒng)的支持能力是進(jìn)行方案選型的考慮要點之一。例如,Blackfin處理器可以支持目前主流的操作系統(tǒng),包括uCLinux、ThreadX、Nucleus,uCOS-II等十多種嵌入式操作系統(tǒng),客戶完全可以根據(jù)其自身要求選擇其熟悉的或更具成本效益的軟件架構(gòu)基礎(chǔ)。


圖2:基于BF561的智能監(jiān)控終端框圖


二、開發(fā)工具和可用資源
智能視頻監(jiān)控設(shè)備是一個復(fù)雜的系統(tǒng),涉及到復(fù)雜的軟硬件設(shè)計、人機(jī)界面、通信連接等,具有較高的系統(tǒng)設(shè)計難度。因此,所選擇的硬件平臺方案是否能提供完善的開發(fā)工具套件、必要的軟件模塊、成熟的參考設(shè)計、系統(tǒng)設(shè)計支持,以及是否有完整的設(shè)計生態(tài)系統(tǒng)等,對于是否能按期高質(zhì)量地完成系統(tǒng)設(shè)計非常關(guān)鍵。事實上,并不是所有平臺方案提供商都能提供這些支持。

以Blackfin系列處理器為例,采用Blackfin處理器的硬件平臺從一般的DVR、IP攝像機(jī)、數(shù)字視頻監(jiān)控到智能視頻監(jiān)控,已經(jīng)被全球大量的設(shè)備企業(yè)的廣泛采用。Blackfin處理器獲得眾多企業(yè)的青睞,具有完整的開發(fā)工具和參考設(shè)計等支持是其受廣泛歡迎的重要原因之一。ADI提供業(yè)界一流的工具、初學(xué)套件與支持,包括人們熟知的、能夠支持其他Blackfin處理器的ADI CROSSCORE®軟件與硬件工具,這些工具包括獲獎的VisualDSP++®集成開發(fā)與調(diào)試環(huán)境(IDDE)、仿真器,以及EZ-KIT Lite®評估版硬件。

為提高開發(fā)效率,降低開發(fā)難度,開發(fā)時應(yīng)盡量在已有的資源上進(jìn)行,比如開放的例程,ADI為此提供了非常豐富的例程和資料。例如,ADI提供免費的“Image Tool Box”圖像處理函數(shù)庫軟件包,該軟件包專門針對圖像處理應(yīng)用常用的數(shù)學(xué)函數(shù)進(jìn)行了優(yōu)化,供客戶在進(jìn)行應(yīng)用開發(fā)時調(diào)用。ADI還提供完整的參考設(shè)計,以及由本地合作伙伴開發(fā)的評估板、開發(fā)工具、算法IP、應(yīng)用模塊,以及由第三方合作伙伴提供包括軟硬件在內(nèi)的全套交鑰匙方案。Blackfin處理器的視頻監(jiān)控應(yīng)用目前在中國已經(jīng)有多家具有豐富工程經(jīng)驗的第三方合作伙伴,已經(jīng)建立完善的生態(tài)系統(tǒng)。

以ADI在今年三月份宣布提供基于該公司Blackfin BF526C的完整的IP監(jiān)控和機(jī)器視覺攝像頭參考設(shè)計為例,該參考設(shè)計在單個匯聚處理器上提供了強(qiáng)大的視頻和音頻處理能力,為工程師提供了一個統(tǒng)一的軟件開發(fā)環(huán)境,可以實現(xiàn)更快的系統(tǒng)調(diào)試和部署,以及更低的系統(tǒng)成本。該處理器提供了集成的音頻編解碼器、流式視頻和IP協(xié)議、片上DRAM存儲器以及針對10/100以太網(wǎng)、USB和SD存儲和本地RS-232端口的接口。這種完全可編程的解決方案可以滿足多種視頻壓縮標(biāo)準(zhǔn),例如H.264和MPEG4,支持音頻G.729標(biāo)準(zhǔn)的編碼。支持從控制中心到相機(jī)的雙向語音通信,以及利用Pelo-P或Pelo-D協(xié)議的鏡頭平移、傾斜和拉伸動作。該參考設(shè)計還提供一塊帶雙核BF561處理器的子卡,使系統(tǒng)能實現(xiàn)更高視頻分辨率,并提供實現(xiàn)高級視頻分析功能,如運動檢測和跟蹤。

應(yīng)用方案揭秘——億維東方智能網(wǎng)絡(luò)攝像機(jī)
北京億維東方科技有限公司(Emvideo)是專業(yè)智能安防產(chǎn)品的方案提供商,也是美國ADI公司授權(quán)的第三方合作伙伴。億維東方目前有多款基于ADI Blackfin處理器為核心的硬件平臺的產(chǎn)品,其中“軟件+硬件”交鑰匙的WiFi無線視頻監(jiān)控整體解決方案基于BF536+BF561的雙處理器架構(gòu),方案硬件結(jié)構(gòu)圖如圖3所示。

其中BF536處理器作為主處理器,除負(fù)責(zé)完成音頻編碼、遠(yuǎn)程控制以及用戶交互控制等一些基本的管理與控制外,還負(fù)責(zé)嵌入式操作系統(tǒng)uClinux的運行,以及先進(jìn)的智能視頻分析功能,可以完成安防、人體行為、智能交通等多種智能視頻分析。雙核BF561作為協(xié)處理器負(fù)責(zé)視頻編碼算法,其強(qiáng)大的視頻處理能力使得該方案實現(xiàn)了H.264基本類@Level3.0和MPEG4 D1+CIF雙碼流的支持,未來更將可能擴(kuò)展到能夠支持H.264 D1+CIF的雙碼流。兩個處理器之間可以通過高速同步串行接口通訊,視頻信號首先進(jìn)入BF561處理器,采集編碼后的碼流發(fā)送到BF536處理器,然后通過網(wǎng)絡(luò)發(fā)送到客戶端進(jìn)行解碼顯示。


圖3:采用Blackfin BF536和BF561的解決方案硬件結(jié)構(gòu)圖


該方案采用了先進(jìn)的背景建模方法,能有效地克服光線變化、樹葉擺動以及水面波紋等背景對前景目標(biāo)分析產(chǎn)生的干擾,實現(xiàn)準(zhǔn)確的前景檢測,同時在目標(biāo)跟蹤上采用了獨特的優(yōu)化算放,實現(xiàn)了在入侵檢測(包括區(qū)域警戒、絆線檢測)的應(yīng)用上超過90%的準(zhǔn)確率。而所有這些都是基于BF536+BF561雙處理器的硬件架構(gòu)所具有的強(qiáng)大處理能力來實現(xiàn)的。

該方案的智能視頻分析功能由億維東方公司自主開發(fā),獨特的算法和豐富的智能視頻分析技術(shù)開發(fā)經(jīng)驗確保實現(xiàn)客戶的智能識別應(yīng)用需求,并為客戶提供包括軟件升級在內(nèi)的完善服務(wù)。由于智能視頻識別應(yīng)用目前并沒有任何可循的需求標(biāo)準(zhǔn)和測試標(biāo)準(zhǔn),因此視頻分析方案通常需要針對客戶的應(yīng)用特點和需求進(jìn)行方案優(yōu)化。例如有些用戶是地鐵系統(tǒng)的,他們需要的功能是檢測是否跨越候車的黃線、人群密度是否過大、是否有可疑的遺留物體等;有些用戶是銀行系統(tǒng)的,他們所需要的是ATM機(jī)的智能監(jiān)控如分析是否有安裝假鍵盤、安裝吞卡器,在ATM機(jī)是否有暴力行為,是否出現(xiàn)犯罪分子的人臉等。利用該方案,客戶可以根據(jù)用戶的需求方便地進(jìn)行調(diào)整算法。智能視頻處理要求芯片具有強(qiáng)大的處理能力,有許多算法實現(xiàn)時得采用并行處理,Blackfin DSP在算法并行處理上具有獨特的優(yōu)勢,特別是ADSP-BF561的雙DSP核能夠?qū)崿F(xiàn)很復(fù)雜的智能視頻處理算法。這是傳統(tǒng)的MCU+ASIC或采用一般DSP方案所難以實現(xiàn)的。

該方案的軟硬件都經(jīng)過了應(yīng)用驗證,目前已經(jīng)由多家客戶進(jìn)行生產(chǎn),目標(biāo)應(yīng)用將主要是政府行政效能監(jiān)測、教育系統(tǒng)等行業(yè)用戶。

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險,如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點: 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉