走向成熟的智能數(shù)字視頻監(jiān)控

Intelligent Digital Video Surveillance Is Bounding to Mature

摘要：視頻監(jiān)控技術(shù)伴隨著“平安中國(guó)”的暢想以及北京奧運(yùn)會(huì)和上海世博會(huì)等大型活動(dòng)的順利舉辦，成為近期備受關(guān)注的電子技術(shù)應(yīng)用領(lǐng)域。作為智能數(shù)字視頻核心的半導(dǎo)體器件，在智能監(jiān)控技術(shù)的普及中占據(jù)著極為重要的地位，本文通過(guò)多個(gè)角度，解析數(shù)字視頻監(jiān)控發(fā)展趨勢(shì)及其對(duì)半導(dǎo)體產(chǎn)品的需求。

關(guān)鍵詞：視頻監(jiān)控；傳感器；DSP；FPGA

DOI：10．3969/j.issn.1005-5517.2011.04.001

對(duì)于每個(gè)人而言，平安是幸福生活最基本的要素之一，而如何保障平安生活，無(wú)疑需要時(shí)刻有一雙慧眼的保護(hù)。無(wú)論是生活安全的監(jiān)控、突發(fā)事件的預(yù)警、交通違章情況和流量監(jiān)控還是重點(diǎn)場(chǎng)所的安全保障，甚至山林火險(xiǎn)監(jiān)控、邊界和領(lǐng)海各種情況的監(jiān)控等，都需要先進(jìn)的智能數(shù)字視頻監(jiān)控系統(tǒng)做保障。

具體到中國(guó)，人口眾多地域遼闊的特點(diǎn)僅僅依靠人力很難滿(mǎn)足保障國(guó)土安全、人民安居樂(lè)業(yè)的需求。因此，無(wú)論近年來(lái)全球經(jīng)濟(jì)如何動(dòng)蕩，中國(guó)的公共安防市場(chǎng)卻總是保持旺盛增長(zhǎng)的勢(shì)頭。“平安中國(guó)”計(jì)劃的推廣，特別是隨著2008年北京成功舉辦奧運(yùn)會(huì)過(guò)程中，國(guó)產(chǎn)的監(jiān)控產(chǎn)品廣泛被采用，表現(xiàn)不凡，進(jìn)一步引發(fā)了國(guó)內(nèi)數(shù)字化視頻監(jiān)控產(chǎn)業(yè)的發(fā)展。

數(shù)字視頻監(jiān)控系統(tǒng)是以數(shù)字視頻處理技術(shù)為核心，綜合利用光電傳感器、計(jì)算機(jī)網(wǎng)絡(luò)、自動(dòng)控制和人工智能等技術(shù)的一種新型監(jiān)控系統(tǒng)。數(shù)字視頻監(jiān)控系統(tǒng)除了具有傳統(tǒng)閉路電視監(jiān)視系統(tǒng)的所有功能外，還具有遠(yuǎn)程視頻傳輸與回放、自動(dòng)異常檢測(cè)與報(bào)警、結(jié)構(gòu)化的視頻數(shù)據(jù)存儲(chǔ)等功能。與數(shù)字視頻監(jiān)控系統(tǒng)相關(guān)的主要技術(shù)有視頻數(shù)據(jù)壓縮，視頻的分析與理解，視頻流的傳輸與回放和視頻數(shù)據(jù)的存儲(chǔ)。

技術(shù)發(fā)展趨勢(shì)

TI DSP業(yè)務(wù)發(fā)展經(jīng)理鄭曉龍認(rèn)為，數(shù)字視頻監(jiān)控的核心技術(shù)主要有四種，即視頻壓縮、影像處理、視頻顯示和視頻分析，如圖1所示。回顧數(shù)字視頻監(jiān)控的發(fā)展歷程，數(shù)字音視壓縮技術(shù)的發(fā)展導(dǎo)致了壓縮標(biāo)準(zhǔn)的制定，數(shù)字音視壓縮技術(shù)包含視頻編碼和解碼，在視頻監(jiān)控應(yīng)用中已由MPEG4過(guò)渡到H．264而成為主流，而SVC作為一個(gè)效率更多的標(biāo)準(zhǔn)也將接受市場(chǎng)的考驗(yàn)。在各種寬帶和無(wú)線(xiàn)數(shù)字監(jiān)控系統(tǒng)中，既有多通道處理的需求，也有多格式、多碼率及多視頻流的支持。

富士通半導(dǎo)體(上海)有限公司市場(chǎng)部產(chǎn)品經(jīng)理沈弘人則將監(jiān)控產(chǎn)品的技術(shù)及市場(chǎng)需求概況為五大發(fā)展趨勢(shì)。

網(wǎng)絡(luò)化

市場(chǎng)需求：消費(fèi)型客戶(hù)的需求量較大對(duì)高清需求不多，售價(jià)低，以公眾互聯(lián)網(wǎng)布線(xiàn)為主；而項(xiàng)目客戶(hù)則需求量較少，對(duì)高清需求較多，但售價(jià)高，且多半以?xún)?nèi)網(wǎng)／專(zhuān)網(wǎng)布線(xiàn)為主。

技術(shù)發(fā)展：向高清視頻(HD／Full HD)方向發(fā)展，可進(jìn)行實(shí)時(shí)壓縮(H．264)，并經(jīng)由IP網(wǎng)絡(luò)實(shí)時(shí)傳送(Real-TimeStreaming，一般網(wǎng)絡(luò)的傳送遞延時(shí)間最好不超過(guò)一秒。

智能化

市場(chǎng)需求：除傳統(tǒng)云臺(tái)控制攝像頭轉(zhuǎn)向／縮放功能外，智能影音分析(前端及后端)的應(yīng)用需求將越來(lái)越多。

技術(shù)發(fā)展：智能影音分析軟件，如移動(dòng)動(dòng)物／人臉追蹤、危險(xiǎn)物(靜態(tài)物體)監(jiān)測(cè)、火災(zāi)監(jiān)測(cè)、門(mén)禁人員／車(chē)輛計(jì)數(shù)等。大部分智能影音分析都在后端實(shí)施，如中控系統(tǒng)(CMS)，或是軟件離線(xiàn)分析，但也有一些智能影音分析功能逐漸開(kāi)始內(nèi)置在頭端(攝像頭)進(jìn)行重要事件監(jiān)測(cè)及數(shù)據(jù)分析。

高清化

市場(chǎng)需求：目前市場(chǎng)需求的起始規(guī)格為720P 30，進(jìn)階規(guī)格則為720P 60或1080P 30。而有些應(yīng)用，如車(chē)牌辨識(shí)(LPR)，甚至需要1080P60或是更高的規(guī)格。

技術(shù)發(fā)展：為了滿(mǎn)足高清化需求，傳感器技術(shù)也逐漸走向高階CMOS(1．3M，2M，5M等)，而CMOS在高動(dòng)態(tài)(HDR)和低照度(low lux)方面也已經(jīng)趕上CCD的水平。另外，高階影像處理器(ISP)、高階編碼技術(shù)(H．264)及高分辨率鏡頭(HDLens)也是重要的技術(shù)發(fā)展方向。

安全化

市場(chǎng)需求：數(shù)字視頻錄像(DVR)、網(wǎng)絡(luò)數(shù)字視頻錄像(NVR)、高容量硬盤(pán)(HDD)、磁盤(pán)陣列(DiskArray)的市場(chǎng)需求大增，也因而讓數(shù)據(jù)存儲(chǔ)更容易、更安全。

技術(shù)發(fā)展：擴(kuò)充DVR／NVR到集中式網(wǎng)絡(luò)儲(chǔ)存技術(shù)(NAS)或是主從式儲(chǔ)存設(shè)備網(wǎng)絡(luò)技術(shù)(SAN)以及加強(qiáng)網(wǎng)絡(luò)防火墻(Fire Wall)，讓數(shù)據(jù)儲(chǔ)存更安全，且具備容錯(cuò)能力，災(zāi)難備援，以及快速回復(fù)數(shù)據(jù)之能力。

分工化

市場(chǎng)需求：高端監(jiān)控市場(chǎng)的特性包括應(yīng)用多元化、規(guī)格定制化和少量多樣化，且要求存儲(chǔ)時(shí)間長(zhǎng)，因此對(duì)質(zhì)量的要求比一般消費(fèi)性產(chǎn)品高很多，所以每個(gè)組件都應(yīng)具有最高規(guī)格和性能，這也使高端監(jiān)控的產(chǎn)業(yè)鏈必須達(dá)到專(zhuān)業(yè)分工。

技術(shù)發(fā)展：傳感器(CCD或CMOS)、高階影像處理器(ISP)、影像壓縮編解碼器(CODEC)、網(wǎng)絡(luò)傳輸(IP Video Streaming)和高清閉路電視(HDCCTV)等各自發(fā)展或部分整合。換句話(huà)說(shuō)，沒(méi)有一顆單芯片(SoC)能完全滿(mǎn)足高端監(jiān)控的需求，當(dāng)然對(duì)于入門(mén)級(jí)的家用監(jiān)控系統(tǒng)則可能用一顆單芯片就可以完成。

萊迪斯半導(dǎo)體市場(chǎng)營(yíng)銷(xiāo)副總裁Douglas Hunter則直言未來(lái)視頻監(jiān)控兩個(gè)最重要的趨勢(shì)是：百萬(wàn)像素?cái)z像機(jī)和高動(dòng)態(tài)范圍(HDR)照相機(jī)。對(duì)于半導(dǎo)體制造商，這意味著需要向市場(chǎng)提供器件，提供更高的處理能力，以便處理由兆像素圖像傳感器和HDR處理需求結(jié)合所引起的大量數(shù)據(jù)的增加。Maxim業(yè)務(wù)總監(jiān)JimFox則認(rèn)為，視頻監(jiān)控市場(chǎng)的整體增長(zhǎng)率將保持在5％-10％左右，而IP攝像機(jī)這樣的具體產(chǎn)品增長(zhǎng)率可以達(dá)到30％以上。最重要的技術(shù)發(fā)展趨勢(shì)除了高清和百萬(wàn)像素?cái)z像外，智能視頻分析和成像也非常重要。

當(dāng)然，趨勢(shì)總是由市場(chǎng)的需求所推動(dòng)的。視頻監(jiān)控市場(chǎng)正要求更高的分辨率和更精準(zhǔn)的圖像內(nèi)容，包括場(chǎng)景內(nèi)容和活動(dòng)的“智能”識(shí)別(如車(chē)牌號(hào)碼識(shí)別，清點(diǎn)人數(shù)的能力，檢測(cè)侵入者)?？梢杂帽环Q(chēng)為視頻分析(VA)的自動(dòng)化軟件夾處理越來(lái)越多的復(fù)雜視頻監(jiān)控。為了能夠有效、避免產(chǎn)生“誤報(bào)“，VA軟件需要較高的分辨率和HDR處理。這就是對(duì)攝像機(jī)制造商的要求，以高幀率來(lái)處理大量的數(shù)據(jù)。

攝像頭高清、3D一個(gè)都不能少

高清技術(shù)將使數(shù)字視頻監(jiān)控系統(tǒng)徹底淘汰傳統(tǒng)模擬系統(tǒng)，于是在CIF／D1分辨率的基礎(chǔ)之上，720p和1080p的呼聲很高，視頻壓縮技術(shù)在新的潮流下得到了進(jìn)一步的提升。Aptina Imaging公司資深業(yè)務(wù)發(fā)展／市場(chǎng)經(jīng)理Cliff Cheng認(rèn)為，監(jiān)控?cái)z像頭領(lǐng)域最普遍的發(fā)展趨勢(shì)是轉(zhuǎn)向分辨率為720P和1080P兩種格式的高清(HD)攝像頭，而所提供的接口選項(xiàng)的數(shù)量增加了，包括子兆位以太網(wǎng)、閉路高清(HDCCTV)以及IP over Coaxial(電纜)，這些都正逐漸成為HD視頻的首選接口。多媒體2D／3D圖像加速技術(shù)已開(kāi)始引入，HDMI高清接口將成為必需，顯示加密技術(shù)也許不可或缺。

隨著CMOS視頻傳感器技術(shù)的成熟和推廣，數(shù)字一體化攝像機(jī)將融合更多的影像處理技術(shù)，其中包括自動(dòng)曝光(AE)、自動(dòng)白平衡(AWB)和自動(dòng)聚焦(AF)技術(shù)將有可能被掌握。隨著繼承有視頻前端的單片系統(tǒng)(SoC)的推出，不僅支持上述的弘功能，還有可以支持3D噪聲濾波、人臉檢測(cè)、LDC鏡頭校正和WDR寬動(dòng)態(tài)等功能。與CCD圖像傳感器相比，由于CMOS圖像傳感器具備同等甚至更好的成像性能、更低的成本、更高的集成度、更低的功耗以及更高的速度，因此在網(wǎng)絡(luò)攝像頭領(lǐng)域的應(yīng)用也日益增多。高速HD視頻攝像頭轉(zhuǎn)向CMOS圖像傳感器的原因之一是CMOS器件固有低功耗的特性。功耗較低的CMOS圖像傳感器還結(jié)合了數(shù)項(xiàng)節(jié)能功能，如門(mén)控時(shí)鐘(gated clock)設(shè)計(jì)、可變幀率，以及低待機(jī)電流，這些功能均可通過(guò)CMOS工藝技術(shù)來(lái)實(shí)現(xiàn)。

萊迪斯半導(dǎo)體的Douglas Hunter認(rèn)為，視頻監(jiān)控需要圖像傳感器有更多的像素以得到更好的場(chǎng)景定義，更好的微光性能，并能夠?yàn)镠DR功能提供足夠的數(shù)據(jù)。關(guān)于市場(chǎng)趨勢(shì)，圖像傳感器將繼續(xù)從CCD轉(zhuǎn)變到CMOS技術(shù)。更高的兆像素傳感器將變得司空見(jiàn)慣。為了增強(qiáng)微光性能，更大格式的傳感器可能更為常見(jiàn)。像那些菜迪思伙伴的傳感器制造商將對(duì)傳感器從提供并行接口轉(zhuǎn)向串行接口，以便每秒從圖像傳感器送出更多的像素?cái)?shù)據(jù)。

一個(gè)新興的發(fā)展趨勢(shì)是加入寬動(dòng)態(tài)范圍(Wide Dynamic Range，WDR)功能，借助WDR功能，視頻監(jiān)控?cái)z像頭的放置就不再受到限制，幾乎可以放置在任何環(huán)境中，包括嚴(yán)苛的高對(duì)比度光照環(huán)境。Aptina用于監(jiān)控市場(chǎng)的最新HD和全HD圖像傳感器解決方案都加入了統(tǒng)計(jì)引擎、3D立體攝像頭支持、感興趣區(qū)域(region of interest)和WDR功能，將更多的計(jì)算工作量從視頻分析引擎中卸載，讓攝像頭的算法可以提供更高的準(zhǔn)確度和智能化水平更高的功能性。[!--empirenews.page--]

媒體處理器百花齊放

回顧數(shù)字視頻監(jiān)控的發(fā)展歷程，數(shù)字音視壓縮技術(shù)的發(fā)展導(dǎo)致了壓縮標(biāo)準(zhǔn)的制定，于是在高速數(shù)字信號(hào)處理器(DSP)上得以實(shí)現(xiàn)和應(yīng)用。DSP得天獨(dú)厚的高性能和低功耗的軟件可編程的特性使之成為嵌入式數(shù)字音視頻壓縮的理想處理平臺(tái)，而在高速通用DSP芯片上集成多個(gè)視頻接口以及豐富的外圍接口，就成為數(shù)字媒體處理器。數(shù)字視頻監(jiān)控產(chǎn)品的推陳出新得益于核心處理平臺(tái)的升級(jí)換代，其中數(shù)字媒體處理器發(fā)揮了重要的作用。單片的通用DSP可以很好地實(shí)現(xiàn)視頻數(shù)字壓縮或智能視頻數(shù)字分析處理工作，但還需要在外圍接視頻接口和前端或后端處理設(shè)備，因此系統(tǒng)比較復(fù)雜。

TI推出的第一顆數(shù)字媒體SoC對(duì)于數(shù)字視頻監(jiān)控行業(yè)的影響極其深遠(yuǎn)，從而開(kāi)創(chuàng)了以創(chuàng)新大師達(dá)芬奇冠名一個(gè)系列媒體處理平臺(tái)。如圖2為數(shù)字視頻SoC集成結(jié)構(gòu)，其中包含有ARM和DSP核心系統(tǒng)，還有視頻協(xié)處理器(VICP)，以及視頻處理子系統(tǒng)(VPSS)。

隨著監(jiān)控行業(yè)對(duì)高清需求的增加，DSP一統(tǒng)天下的格局在變化。賽靈思公司亞太區(qū)市場(chǎng)及應(yīng)用總監(jiān)張宇清介紹，傳統(tǒng)的視頻監(jiān)控由于對(duì)運(yùn)算的要求不高，只需要DSP芯片即可。隨著智能分析和高清視頻監(jiān)控成為主流，F(xiàn)PGA的優(yōu)勢(shì)逐漸顯現(xiàn)。

智能分析的關(guān)鍵在于算法，需要大量的矩陣運(yùn)算以及乘法器。通常有兩種方式來(lái)實(shí)現(xiàn)智能分析。一是，DSP+FPGA，F(xiàn)PGA作為協(xié)處理器，來(lái)彌補(bǔ)DSP在運(yùn)算方面的不足。然而，雖然DSP在信號(hào)處理、監(jiān)控方面具有優(yōu)勢(shì)，但其通過(guò)執(zhí)行串行指令進(jìn)行處理運(yùn)算、智能分析，一個(gè)時(shí)鐘只能執(zhí)行一個(gè)指令。而FPGA是并行指令架構(gòu)，可以在一個(gè)時(shí)鐘內(nèi)執(zhí)行幾百個(gè)指令。以運(yùn)算速度來(lái)看，即使DSP的運(yùn)算達(dá)到1G以上，F(xiàn)PGA的速度700M，但顯然，F(xiàn)PGA的并行處理仍然要遠(yuǎn)高于DSP的串行處理。同時(shí)，F(xiàn)PGA帶有硬件乘法器和DSP核，具有高度靈活的擴(kuò)展性，目前很多高端視頻監(jiān)控設(shè)備已采用這一架構(gòu)。二是，在DSP中嵌入硬核，用硬核做硬件加速器，但其彈性小，沒(méi)有擴(kuò)展性，導(dǎo)致產(chǎn)品差異化低。

FPGA可以在復(fù)雜的像素處理方面替代DSP，如高性能視頻分析，各種圖像傳感器寬動(dòng)態(tài)范圍壓縮，以及高精度圖像處理。對(duì)于高清視頻監(jiān)控來(lái)說(shuō)，F(xiàn)PGA的作用更是不可小覷。高清監(jiān)控，數(shù)據(jù)流量非常大，需要更高的處理能力，并且還要提供自動(dòng)曝光、高效的自動(dòng)白平衡和高動(dòng)態(tài)范圍等功能，傳統(tǒng)DSP已經(jīng)難以應(yīng)付，需要FPGA共同完成。

對(duì)FPGA在視頻監(jiān)控領(lǐng)域應(yīng)用非常看好的還有萊迪斯半導(dǎo)體。DouRlasHunter認(rèn)為一個(gè)顯而易見(jiàn)的方法是從順序處理轉(zhuǎn)變?yōu)椴⑿刑幚怼＠?，F(xiàn)PGA是并行處理器件，可以在每個(gè)時(shí)鐘周期比傳統(tǒng)DSP處理更多的數(shù)據(jù)。由于在每個(gè)時(shí)鐘周期能夠處理更多的數(shù)據(jù)，比如LatticeECP3系列FPGA可以使用較低的時(shí)鐘速度，因此消耗的功耗更少，而順序處理的器件需要更快的時(shí)鐘速度；因此消耗大量的功率。

視頻分析

視頻分析技術(shù)業(yè)已在數(shù)字視頻監(jiān)控領(lǐng)域逐步顯露鋒芒，從而使得監(jiān)控真正向智能化的視覺(jué)方向發(fā)展。視頻分析所包含的內(nèi)容相當(dāng)廣泛，其中有物體檢測(cè)統(tǒng)計(jì)、目標(biāo)物體識(shí)別和監(jiān)控目標(biāo)跟蹤，還可以設(shè)立警戒區(qū)進(jìn)行檢測(cè)或行為分析。對(duì)于攝像機(jī)自身的智能化處理，已有視頻穩(wěn)定和鏡頭受襲告警實(shí)用技術(shù)。人臉識(shí)別技術(shù)目前已經(jīng)開(kāi)始實(shí)現(xiàn)市場(chǎng)化，并已有不少成功的應(yīng)用，例如北京奧運(yùn)會(huì)和上海世博會(huì)。

在談到數(shù)字視頻監(jiān)控新的增長(zhǎng)點(diǎn)時(shí)，智能視頻分析一定是一個(gè)熱門(mén)話(huà)題。視頻分析從計(jì)算機(jī)后端分析到前端嵌入式分析，使得其應(yīng)用范圍大大增加，目前已開(kāi)始啟動(dòng)市場(chǎng)化的進(jìn)程。TI鄭小龍認(rèn)為，在這過(guò)程中通用可編程的DSP扮演了極其重要的角色，從DM642到DM6437或DM6435，許多智能視頻分析廠(chǎng)商推出了出色的算法并進(jìn)入實(shí)用。基于現(xiàn)在的達(dá)芬奇的C64+核心，已可實(shí)現(xiàn)單片的智能視頻應(yīng)用。未來(lái)DM8168的C674x將可提供更加強(qiáng)大的高級(jí)智能視頻分析性能。

在視頻監(jiān)控中的軟件算法可以用于兩個(gè)方面。首先是圖像處理引擎中執(zhí)行一套算法。第二個(gè)是幫助人們完成任務(wù)的VA軟件，如內(nèi)容和事件的識(shí)別。在圖像信號(hào)處理(ISP)領(lǐng)域，萊迪思從合作伙伴HelionGmbH那里得到了算法，它提供了業(yè)界最快的自動(dòng)曝光，支持傳感器高達(dá)16兆像素的分辨率，ISP流水線(xiàn)的HDR(高動(dòng)態(tài)范圍)可達(dá)192分貝。

MAXIM業(yè)務(wù)總監(jiān)Jim Fox介紹，該公司的Mobilygen專(zhuān)利技術(shù)大大降低了系統(tǒng)計(jì)算的復(fù)雜度，在保持低功耗的同時(shí)提供最高畫(huà)質(zhì)。預(yù)先定義的配置和固件API允許開(kāi)發(fā)人員設(shè)置比特率、幀速率等參數(shù)以及GOP結(jié)構(gòu)、H．264工具等。MAXIM器件支持完整的高畫(huà)質(zhì)H．264工具套件，包括8x8轉(zhuǎn)換、矩陣比例縮放、CABAC和任意分割尺寸的宏模塊自適應(yīng)幀／場(chǎng)(MBAFF)。先進(jìn)的固件算法提供圖像自適應(yīng)幀／場(chǎng)(PAFF)編碼、加權(quán)預(yù)測(cè)、定制矩陣比例縮放和影視圖像反轉(zhuǎn)處理，以達(dá)到最佳圖像質(zhì)量。視頻輸出處理器能夠組合實(shí)時(shí)圖像和／或存儲(chǔ)圖像，其圖像覆蓋功能可以創(chuàng)建單路輸出。該輸出可以放大或縮小，通過(guò)雙向端口發(fā)送到另外一個(gè)器件或輸出，以8位YUV4：2：0格式或18位RGB格式驅(qū)動(dòng)本地顯示器。

行業(yè)應(yīng)用的特殊需求

雖然在所有的應(yīng)用之中，數(shù)字視頻監(jiān)控的基本圖像處理相似，不過(guò)某些應(yīng)用確有具體的特殊需求。例如，在工業(yè)應(yīng)用中，高速度和高幀率是捕捉圖像細(xì)節(jié)的必備條件，需要傳感器具有全局快門(mén)，而不是滾動(dòng)快門(mén)；在醫(yī)療市場(chǎng)中，出色的低光照性能和極低的功耗是必不可少的，要求非常低的延時(shí)和無(wú)損圖像壓縮；對(duì)于交通運(yùn)輸攝像頭，需要增強(qiáng)的HDR性能和快速的自動(dòng)曝光，需要使用帶有全局快門(mén)的捕捉速度極高的攝像頭，以便在夜間光線(xiàn)較暗時(shí)讀取車(chē)牌號(hào)碼，當(dāng)有迎面而來(lái)的車(chē)輛前車(chē)燈時(shí)，他們也許突然變得明亮。因此需要對(duì)不同產(chǎn)業(yè)類(lèi)別的應(yīng)用根據(jù)FW做特殊的應(yīng)用，以配合特殊產(chǎn)業(yè)與廠(chǎng)商的需求。例如工業(yè)應(yīng)用要求高速視頻(120-240fps)，但是對(duì)分辨率的需求并不是很高(QVGA—VGA)，醫(yī)療應(yīng)用則需要可拋式攝像頭，這些特殊功能都需要圖像感應(yīng)器廠(chǎng)商與鏡頭廠(chǎng)商配合。

這些需求構(gòu)成了對(duì)半導(dǎo)體制造商相同的基本挑戰(zhàn)：即提高了數(shù)據(jù)處理負(fù)載。萊迪思Douglas Hunter坦言，半導(dǎo)體制造商必須提供低成本、低功耗并行處理器件，如各種配置的FPGA，針對(duì)大的和小的應(yīng)用提供處理邏輯。他們還必須提供IP，支持不同種類(lèi)的圖像傳感器，以及提供低延遲和HDR處理的ISP流水線(xiàn)。

對(duì)于交通行業(yè)而言，需求又有所不同。如何利用車(chē)載攝像機(jī)降低交通事故數(shù)，減少人員傷亡，控制直接財(cái)產(chǎn)損失，是中國(guó)汽車(chē)電子行業(yè)不容無(wú)視的重大研究課題和商機(jī)，本文通過(guò)概要介紹若干系統(tǒng)，為中國(guó)汽車(chē)電子行業(yè)拋磚引玉。值得一提的是，開(kāi)發(fā)針對(duì)汽車(chē)安全的車(chē)載攝像機(jī)系統(tǒng)需要汽車(chē)電子與汽車(chē)生產(chǎn)廠(chǎng)家開(kāi)展密切合作，從攝像頭、視頻數(shù)據(jù)采集、視頻傳輸、實(shí)時(shí)監(jiān)視和播放平臺(tái)等多個(gè)方面進(jìn)行研究，才有利于車(chē)廠(chǎng)最終使其產(chǎn)品化。

特別的，車(chē)載攝像頭需要的高速總線(xiàn)，MOST(面向媒體的系統(tǒng)傳輸總線(xiàn))技術(shù)目前已經(jīng)被50多種車(chē)型采用它由MOST組織來(lái)主持標(biāo)準(zhǔn)化與規(guī)格化工作。截至目前，已經(jīng)有15家國(guó)際性汽車(chē)廠(chǎng)商和70余家主要零配件生產(chǎn)廠(chǎng)商加盟該組織。

目前已經(jīng)實(shí)現(xiàn)產(chǎn)品化的MOST技術(shù)有MOST25、MOST50，第3代MOST 150Mbps技術(shù)一150MOST正在開(kāi)發(fā)中。150Mbps可以達(dá)到與MOST25塑料光纖同等的傳輸速度，不用增加物理層成本就可以提高通信速度。采用MOST150后，視頻傳輸變得更容易，不僅可以用在休閑娛樂(lè)方面，還可以用在車(chē)載攝像頭等行車(chē)系統(tǒng)上。

MOST在制訂上完全合乎ISO／OSI的7層數(shù)據(jù)通訊協(xié)議參考模型，而在網(wǎng)線(xiàn)連接上MOST采行環(huán)狀拓樸，允許改采星狀(亦稱(chēng)放射狀)或雙環(huán)狀的連接組態(tài)，每套MOST傳控網(wǎng)絡(luò)允許最多達(dá)64個(gè)裝置(節(jié)點(diǎn))建立連接。

目前，在MOST的應(yīng)用中，美國(guó)車(chē)種僅占9％，歐洲車(chē)種占比達(dá)58％，亞太車(chē)系則占比大約為33％。