基于多傳感器信息融合的智能交通信息語(yǔ)義描述

摘要：針對(duì)攝像頭采集交通信息時(shí)易受環(huán)境干擾且采集到的信息不夠全面的問(wèn)題，提出智能交通多傳感器信息融合框架，對(duì)多種傳感器采集到的交通信息進(jìn)行融合。另外由于攝像頭采集的視頻數(shù)據(jù)量巨大且多為底層視覺(jué)信息，不便于用戶信息檢索，提出智能交通信息語(yǔ)義描述框架，對(duì)交通視頻信息和傳感器信息進(jìn)行語(yǔ)義描述。實(shí)驗(yàn)結(jié)果表明，對(duì)多傳感器采集到的信息進(jìn)行融合能有效提高信息采集的精度，同時(shí)對(duì)交通視頻信息進(jìn)行語(yǔ)義描述將極大地方便用戶對(duì)感興趣信息的檢索。
關(guān)鍵詞：智能交通系統(tǒng)；多傳感囂信息融合；MPEG-7；視頻語(yǔ)義描述

0 引言
    攝像頭作為監(jiān)控、采集交通信息的有效手段被廣泛應(yīng)用于智能交通系統(tǒng)中。然而攝像頭由于其光學(xué)特性極易受到周?chē)h(huán)境的干擾，例如強(qiáng)光照射、雨雪霧等惡劣的氣候條件都會(huì)對(duì)攝像頭的正常工作產(chǎn)生很大的影響，因而僅僅通過(guò)攝像頭這一單一信息采集手段獲得的交通信息往往是不夠完整的，有時(shí)甚至是不可靠的。另外攝像頭采集到的視頻信息，信息量龐大，毫無(wú)結(jié)構(gòu)性，用戶如果希望在如此海量信息中檢索感興趣的內(nèi)容，例如用戶想查看某段黑色轎車(chē)闖紅燈的視頻，目前通常的做法是一幀幀地線性瀏覽整個(gè)視頻，顯然這個(gè)過(guò)程效率極其低下。
    基于以上問(wèn)題，本文首先提出了一個(gè)多傳感器信息融合框架，通過(guò)將攝像頭采集到的視頻信息與多種智能交通傳感器采集到的信息進(jìn)行融合以彌補(bǔ)攝像頭作為單一信息采集手段的不足。然后在此基礎(chǔ)上提出了一個(gè)對(duì)攝像頭所采集的視頻信息和智能交通傳感器信息進(jìn)行語(yǔ)義描述的框架，為用戶對(duì)交通信息進(jìn)行高效檢索提供鋪墊。

1 智能交通多傳感器信息檢測(cè)與融合
1．1 多傳感器信息融合理論
    多傳感器信息融合理論最早應(yīng)用于軍事領(lǐng)域，這一方面的研究首先起始于1973年的美國(guó)。20世紀(jì)80年代，隨著傳感器技術(shù)的進(jìn)步，多傳感器信息融合理論開(kāi)始飛速發(fā)展，其在非軍事領(lǐng)域的應(yīng)用也大規(guī)模展開(kāi)，工業(yè)控制系統(tǒng)、智能交通、氣象監(jiān)測(cè)、資源探測(cè)、醫(yī)療診斷等多個(gè)領(lǐng)域都在朝著多傳感器方向發(fā)展。國(guó)內(nèi)多傳感器信息融合的研究也于20世紀(jì)90年代達(dá)到高潮，涌現(xiàn)了諸多理論和工程實(shí)踐成果。
    多傳感器信息融合就是充分利用多個(gè)傳感器的資源，通過(guò)對(duì)多種傳感器信息按照某優(yōu)化規(guī)則進(jìn)行組合處理，有效地提高各個(gè)傳感器信息之間的互補(bǔ)性，同時(shí)剔除不必要的冗余信息，提高整個(gè)系統(tǒng)的有效性。多傳感器信息融合按照信息處理層次可分為數(shù)據(jù)層信息融合、特征層信息融合、決策層信息融合。其中決策層信息融合是根據(jù)各個(gè)傳感器系統(tǒng)的判決進(jìn)行優(yōu)化推理，做出最終的決策，靈活性高，通信負(fù)荷小，無(wú)需傳感器之間同質(zhì)，但同時(shí)也對(duì)觀測(cè)信息的預(yù)處理提出了很高的要求。
1．2 智能交通多傳感器信息融合框架
    智能交通傳感器種類(lèi)繁多，功能各異。針對(duì)應(yīng)用場(chǎng)景以及結(jié)合前期的工程實(shí)踐，選擇磁敏傳感器、壓電式傳感器、微波雷達(dá)、RFID作為獲取交通信息的傳感器，這4種傳感器所采集的交通信息如表1所示。

    此外，整個(gè)交通狀態(tài)會(huì)受到周?chē)h(huán)境的影響，因而需要根據(jù)環(huán)境變化調(diào)節(jié)多傳感器信息融合的策略，從而降低環(huán)境變化所帶來(lái)的影響。
    到目前為止，需要進(jìn)行信息融合的傳感器包括攝像頭、磁敏傳感器、壓電式傳感器、微波雷達(dá)、RFID。這5種傳感器彼此異質(zhì)，原始觀測(cè)數(shù)據(jù)結(jié)構(gòu)、內(nèi)容差異巨大，例如攝像頭采集的是二維視頻信號(hào)，磁敏傳感器卻輸出一維模擬信號(hào)，而壓電式傳感器則輸出模擬脈沖信號(hào)。因此考慮在決策級(jí)對(duì)這幾種傳感器信息進(jìn)行融合。每個(gè)傳感器節(jié)點(diǎn)對(duì)采集到的信息進(jìn)行分析處理，其結(jié)果與視頻信息處理結(jié)果進(jìn)行決策級(jí)融合，整個(gè)融合過(guò)程同時(shí)會(huì)受到氣象、光照條件的影響。多傳感器信息融合框架如圖1所示。

2 智能交通信息的語(yǔ)義描述
    隨著多媒體技術(shù)的迅速發(fā)展，視頻信息量也呈現(xiàn)出爆炸性增長(zhǎng)趨勢(shì)。面對(duì)如此海量的數(shù)據(jù)，用戶更關(guān)注如何才能高效地檢索到自己所感興趣的信息，即如何實(shí)現(xiàn)基于內(nèi)容的視頻信息查詢(Content-Based Visual Queries，CBVQ)。這一問(wèn)題已引起了研究者的廣泛興趣，一些原型系統(tǒng)相繼問(wèn)世，如IBM的QBIC系統(tǒng)，哥倫比亞大學(xué)的webseek系統(tǒng)，清華大學(xué)的TV-FI系統(tǒng)等。
    傳統(tǒng)視頻分析技術(shù)是對(duì)底層視覺(jué)信息進(jìn)行分析處理，如顏色、紋理、輪廓。而用戶往往是從高層語(yǔ)義的角度理解整個(gè)視頻內(nèi)容，例如某段視頻出現(xiàn)了什么物體、發(fā)生了什么事情。這之間不可避免地存在著語(yǔ)義鴻溝(Semantic gaps)。要實(shí)現(xiàn)視頻內(nèi)容查詢，首先需要在底層視覺(jué)信息和高層語(yǔ)義之間搭建起一座橋梁。目前學(xué)術(shù)界對(duì)于該問(wèn)題的研究工作已廣泛開(kāi)展起來(lái)，其中比較著名的是運(yùn)動(dòng)圖像專(zhuān)家組提出的MPEG-7標(biāo)準(zhǔn)，即多媒體內(nèi)容描述接口(Multimedia Content Description Interface)。MPEG-7標(biāo)準(zhǔn)的目標(biāo)就是定義一套靈活的可擴(kuò)展的描述框架。該框架能夠?qū)Χ嗝襟w內(nèi)容提供高效的、準(zhǔn)確的并且具有互操作特性的語(yǔ)義描述，以便于進(jìn)一步對(duì)多媒體信息內(nèi)容進(jìn)行語(yǔ)義檢索。MPEG-7對(duì)以下內(nèi)容標(biāo)準(zhǔn)化：描述符(Descriptors)、描述方案(Description Schemes)、描述定義語(yǔ)言(Description Definition Language)。其中描述定義語(yǔ)言基于XML語(yǔ)言，允許對(duì)描述符和描述方案進(jìn)行靈活地定義和描述，并且具有極強(qiáng)的可擴(kuò)展性。
    基于MPEG-7標(biāo)準(zhǔn)，提出智能交通信息語(yǔ)義描述框架，描述的信息包括攝像頭采集的視頻信息和智能交通傳感器信息?？傮w框架如圖2所示。

    下面將闡述語(yǔ)義描述框架的各個(gè)組成成分：
2．1 Video_metadata
    Video_metadata主要是對(duì)每一幀視頻做一般性描述，分為視覺(jué)元數(shù)據(jù)(Visual_metadata)和語(yǔ)義元數(shù)據(jù)(Semantic_metadata)。這部分?jǐn)?shù)據(jù)并不包含視頻內(nèi)容本身。視覺(jué)元數(shù)據(jù)主要包括格式、大小、分辨率、顏色深度、壓縮方式，語(yǔ)義元數(shù)據(jù)主要包括文本標(biāo)注、時(shí)間、地點(diǎn)、該視頻幀編號(hào)(Frame NO．)。
    例如某一幀視頻的Visual_metadata描述如下：
   
2．2 Traffic_sensor_metadata
    Traffic_sensor_metadata主要描述的是該路段所布設(shè)的智能交通傳感器的信息，包括布設(shè)了哪些傳感器，該傳感器所處的位置，傳感器的功能。這部分描述也不包含視頻本身的信息。加入這部分描述是為了將多傳感器的信息內(nèi)容整合起來(lái)，便于用戶查詢整個(gè)系統(tǒng)的信息。
    例如對(duì)于磁敏傳感器信息描述如下：
   
2．3 Video_DS
    Video_DS是對(duì)攝像頭采集到的某一幀視頻信息進(jìn)行語(yǔ)義描述，這部分是整個(gè)語(yǔ)義描述框架的核心，直接影響到用戶的信息檢索。這部分的主要任務(wù)就是描述視頻中所出現(xiàn)的交通對(duì)象和視頻中出現(xiàn)的交通事件。其中Video_object_set表示的是視頻中所出現(xiàn)的所有交通對(duì)象的集合。在每一幀視頻中，提取的交通對(duì)象分為4類(lèi)：車(chē)輛(各種機(jī)動(dòng)車(chē)和非機(jī)動(dòng)車(chē))、行人、道路(單行道、雙行道、左拐車(chē)道、右拐車(chē)道)、交通標(biāo)識(shí)(車(chē)道線、停車(chē)線、交通信號(hào)燈)。
    Video_object_set中每個(gè)元素稱為Video_object，即交通對(duì)象。每個(gè)Video_object同時(shí)具有視覺(jué)特征(Visual Feature)和語(yǔ)義特征(Sem antic Features)。每類(lèi)對(duì)象的視覺(jué)特征和語(yǔ)義特征如表2所示。

    Video_event_set表示的是視頻事件集，這些事件包括車(chē)輛直行駛過(guò)、車(chē)輛左拐、車(chē)輛右拐、闖紅燈、變道、違章停車(chē)、行人走過(guò)等交通事件，每個(gè)事件被賦予一個(gè)ID。Object_node引用Video_object_set中的元素Video_object，這樣就避免了對(duì)象的重復(fù)定義。Object_relati on表示的是對(duì)象(Video_object)之間的關(guān)系，這些關(guān)系通常如表3所示。
     對(duì)于每件交通事件將其描述成對(duì)象之間的關(guān)系。例如對(duì)于闖紅燈事件，涉及到的對(duì)象即為行駛中的車(chē)輛、變?yōu)榧t燈的交通信號(hào)燈和停車(chē)線，車(chē)和停車(chē)線之間的關(guān)系就是車(chē)越：過(guò)停車(chē)線(Crosses)。對(duì)于違章停車(chē)事件，涉及到對(duì)象為某個(gè)不能停車(chē)的車(chē)道和靜止的車(chē)輛，它們之間的關(guān)系即為方位關(guān)系，即這輛車(chē)位于該車(chē)道之上(Top of)。
    Sensor_status是當(dāng)有交通事件出現(xiàn)時(shí)，相關(guān)的智能交通傳感器的檢測(cè)信息，當(dāng)用戶需要讀取傳感器的信息時(shí)，可以直接讀出。這里的Traffic_sensor_node也需要引用Traffic_sensor_metadata中的Traffic_sensor，避免傳感器的重復(fù)定義。
2．4 Traffic_environment部分
    這部分主要描述的是攝像頭監(jiān)控范圍內(nèi)的整個(gè)交通環(huán)境信息，包括該區(qū)域的天氣氣候情況、光照條件、該路段的總體交通信息。

3 智能交通多傳感器信息融合框架模型仿真
    在此以車(chē)速檢測(cè)為例，對(duì)多種智能交通傳感器和攝像頭進(jìn)行決策級(jí)融合，以驗(yàn)證多傳感器信息融合框架的有效性。假設(shè)對(duì)于某一輛駛過(guò)的汽車(chē)，磁敏傳感器檢測(cè)到的車(chē)速為v1(單位：km／h)，壓電式傳感器檢測(cè)到的車(chē)速為v2(單位：km／h)，微波雷達(dá)檢測(cè)到的車(chē)速為v3(單位：km／h)，攝像頭檢測(cè)到的車(chē)速為v4(單位：km／h)，真實(shí)的車(chē)速為v(單位：km／h)，則每個(gè)傳感器檢測(cè)車(chē)速的誤差為：
    △v1=v1-v    (1)
    △v2=v2-v    (2)
    △v3=v3-v    (3)
    △v4=v4-v    (4)
     根據(jù)工程實(shí)踐，磁敏傳感器、攝像頭檢測(cè)結(jié)果誤差的均值和方差都比較大，而微波雷達(dá)和壓電式傳感器則相對(duì)比較精確。假設(shè)誤差△v1，△v2，△v3，△v4分別滿足近似正態(tài)分布，且：
    △v1～N(4，9)    (5)
    △v2～N(2，4)    (6)
    △v3～N(1，4)    (7)
    △v4～N(3，9)    (8)
    對(duì)4種傳感器檢測(cè)的結(jié)果進(jìn)行融合，這里采用加權(quán)平均的模型對(duì)檢測(cè)結(jié)果進(jìn)行融合。4種傳感器所對(duì)應(yīng)的加權(quán)系數(shù)分別為w1，w2，w3，w4，且：
    w1+w2+w3+w4=4    (9)
    則融合結(jié)果為：
   
    因?yàn)椤鱲1，△v2，△v3，△v4獨(dú)立，所以△vf也滿足正態(tài)分布，對(duì)以上過(guò)程進(jìn)行仿真，結(jié)果如圖3所示。

    從圖3中可以看出，經(jīng)過(guò)融合，融合結(jié)果的誤差△vf的均值較小，動(dòng)態(tài)范圍也大幅度減小，因而多傳感器信息融合能有效提高系統(tǒng)的檢測(cè)精度。

4 智能交通視頻語(yǔ)義描述實(shí)例
    本文的基于智能交通信息語(yǔ)義描述框架對(duì)攝像頭采集到的某一幀視頻發(fā)生的事件進(jìn)行描述，該幀如圖4所示。

    該幀視頻發(fā)生的事件是一輛黑色轎車(chē)正駛過(guò)人為所畫(huà)的一條虛擬的藍(lán)線。將黑色轎車(chē)和虛擬的藍(lán)色線條分別看作一個(gè)對(duì)象(Video_obje ct)，對(duì)于黑色轎車(chē)的特征描述如下：


    顯然，基于提出的智能交通信息語(yǔ)義描述框架，能夠?qū)D4中的視頻信息從語(yǔ)義的角度描述出來(lái)，并可以同時(shí)生成相應(yīng)的文本文件。將這些視頻信息描述結(jié)果存入數(shù)據(jù)庫(kù)中，極大方便了用戶從語(yǔ)義的角度對(duì)視頻信息進(jìn)行查詢。

5 結(jié)語(yǔ)
    本文首先提出了智能交通多傳感器信息融合的框架，并通過(guò)信息融合模型仿真驗(yàn)證了該框架的有效性，結(jié)果表明經(jīng)過(guò)多傳感器信息融合，系統(tǒng)交通信息檢測(cè)精度得到有效提高。之后在此基礎(chǔ)上參考MPEG-7標(biāo)準(zhǔn)提出了智能交通信息語(yǔ)義描述框架。該框架能夠描述從底層視覺(jué)特征到高層語(yǔ)義特征的多層視頻信息，彌補(bǔ)語(yǔ)義鴻溝，最終方便用戶對(duì)海量視頻信息檢索，最后用一個(gè)交通視頻語(yǔ)義描述實(shí)例證實(shí)了這一點(diǎn)。后續(xù)將根據(jù)各種智能交通傳感器信息結(jié)構(gòu)特點(diǎn)對(duì)信息融合模型展開(kāi)進(jìn)一步研究，同時(shí)進(jìn)一步提高智能交通信息語(yǔ)義描述框架的擴(kuò)展性和兼容性，將更多的交通信息納入到整個(gè)描述框架中來(lái)。