基于內(nèi)容的信息存取與MPEG-7

一、什么是MPEG-7

現(xiàn)在，我們面臨的將是一個(gè)分布的計(jì)算環(huán)境，視聽(tīng)信息在分布環(huán)境中創(chuàng)建、交換、檢索和重用。因此，需要開(kāi)發(fā)一種視聽(tīng)信息的“表示(Representation)形式”，它超越基于波形或基于樣本、基于壓縮(如MPEG-1和MPEG-2)甚至是基于對(duì)象(如MPEG-4)的表示，這就需要“表示形式”允許某種程度的對(duì)信息含義的注釋，同時(shí)設(shè)備或計(jì)算機(jī)代碼可以傳遞和存取這些注釋。

1996年10月，MPEG開(kāi)始了一項(xiàng)新的工作，以提供對(duì)以上問(wèn)題的解決方案。這個(gè)MPEG家族的新成員被稱為“多媒體內(nèi)容描述接口”(Multimedia Content Description Interface)，簡(jiǎn)稱為MPEG-7。其目標(biāo)就是產(chǎn)生一種描述多媒體內(nèi)容數(shù)據(jù)的標(biāo)準(zhǔn)，滿足實(shí)時(shí)、非實(shí)時(shí)以及推-拉應(yīng)用的需求。MPEG并不對(duì)應(yīng)用標(biāo)準(zhǔn)化，但可利用應(yīng)用來(lái)理解需求并評(píng)價(jià)技術(shù)，它不針對(duì)特定的應(yīng)用領(lǐng)域，而是支持盡可能廣泛的應(yīng)用領(lǐng)域。

MPEG-7將擴(kuò)展現(xiàn)有標(biāo)識(shí)內(nèi)容的專用方案及有限的能力，包含更多的多媒體數(shù)據(jù)類型。換句話說(shuō)，它將規(guī)范一組“描述子”，用于描述各種多媒體信息，也將對(duì)定義其他描述子以及結(jié)構(gòu)(稱為“描述模式”)的方法進(jìn)行標(biāo)準(zhǔn)化。這些“描述”(包括描述子和描述模式)與其內(nèi)容關(guān)聯(lián)，允許快速有效地搜索用戶感興趣的資料。 MPEG-7將標(biāo)準(zhǔn)化一種語(yǔ)言來(lái)說(shuō)明描述模式，即“描述定義語(yǔ)言”。帶有MPEG-7數(shù)據(jù)的 AV資料可以包含靜止圖像、圖形、3D模型、音頻、語(yǔ)音、視頻，以及這些元素如何在多媒體表現(xiàn)中組合的信息。這些通用數(shù)據(jù)類型的特例可以包含面部表情和個(gè)人化特性。

MPEG-7的功能與其他MPEG標(biāo)準(zhǔn)互為補(bǔ)充。MPEG-1、 MPEG-2和MPEG-4是內(nèi)容本身的表示，而MPEG-7是有關(guān)內(nèi)容的信息，是比特的比特。

MPEG-3曾經(jīng)存在，但由于其HDTV目標(biāo)能夠用MPEG-2 工具實(shí)現(xiàn)，因此，該工作終止。按順序推算，下一個(gè)標(biāo)準(zhǔn)應(yīng)該是MPEG-5，但是MPEG 決定不遵循序列的邏輯順序，而是選擇了數(shù)字7。MPEG-5和MPEG-6目前還沒(méi)有定義。 MPEG-7計(jì)劃在2001年9月正式成為國(guó)際標(biāo)準(zhǔn)。

二、 MPEG-7中的主要概念

為了更好地了解MPEG-7，我們需要了解MPEG-7中定義的一些概念：

數(shù)據(jù)(Data) 是用MPEG-7描述的視聽(tīng)資料，不考慮它們的存儲(chǔ)、編碼、顯示、傳輸、媒介或技術(shù)。該定義非常廣泛，包含圖形、靜止圖像、視頻、影片、音樂(lè)、語(yǔ)音、聲音、文本和其他相關(guān)的AV媒體。

特征(Feature) 指數(shù)據(jù)的特性。特征本身不能比較，而要用有意義的特征表示(描述子)和它的實(shí)例(描述值)。如圖像的顏色、語(yǔ)音的聲調(diào)、音頻的旋律等。

描述子(Descriptor，D) 是特征的表示。它定義特征表示的句法和語(yǔ)義，可以賦予描述值。一個(gè)特征可能有多個(gè)描述子，如顏色特征可能的描述子有：顏色直方圖、頻率分量的平均值、運(yùn)動(dòng)的場(chǎng)描述、標(biāo)題文本等。

描述值(Descriptor Value) 是描述子的實(shí)例。描述值與描述模式結(jié)合，形成描述。

描述模式(Description Scheme，DS) 說(shuō)明其成員之間的關(guān)系結(jié)構(gòu)和語(yǔ)義。成員可以是描述子和描述模式。DS和D的區(qū)別是：D僅僅包含基本的數(shù)據(jù)類型，不引用其他D或DS。如對(duì)于影片，時(shí)間結(jié)構(gòu)化為場(chǎng)景和鏡頭，在場(chǎng)景級(jí)包括一些文本描述子，在鏡頭級(jí)包含顏色、運(yùn)動(dòng)和一些音頻描述子。

描述(Description) 一個(gè)描述由一個(gè)描述模式(結(jié)構(gòu))和一組描述值組成。

編碼的描述(Coded Description) 是對(duì)已完成編碼的描述，滿足諸如壓縮效率、差錯(cuò)恢復(fù)和隨機(jī)存取的相關(guān)要求。

描述定義語(yǔ)言(Description Definition Language，DDL) 是一種允許產(chǎn)生新的描述模式和描述子的語(yǔ)言，允許擴(kuò)展和修改現(xiàn)有的描述機(jī)制。

為了更好地理解這些術(shù)語(yǔ)，請(qǐng)參看圖1。圖中解釋了 MPEG-7在實(shí)際系統(tǒng)中的位置。圓角框表示處理工具，矩形框表示靜態(tài)元素，陰影部分包含MPEG-7標(biāo)準(zhǔn)的規(guī)范元素：DDL提供建立描述模式的機(jī)制，然后將描述模式作為基礎(chǔ)，產(chǎn)生一個(gè)描述。注意，描述的二進(jìn)制表示是不必要的，文本表示足夠了。

三、MPEG-7的范圍

MPEG-7是針對(duì)存儲(chǔ)形式(在線、脫機(jī))或流形式(如 Internet上的廣播、推送模型)的應(yīng)用而制定的，并且可以在實(shí)時(shí)和非實(shí)時(shí)環(huán)境中操作。一個(gè)實(shí)時(shí)環(huán)境意味著當(dāng)采集資料時(shí)，信息是與內(nèi)容相關(guān)的。

圖2是MPEG-7處理鏈的一種高度抽象示意圖，用于解釋MPEG-7的范圍。它包括特征抽取(分析)、描述本身和搜索引擎(應(yīng)用)。為了全面開(kāi)發(fā) MPEG-7描述的潛力，自動(dòng)的特征(或是描述子)提取將是極其有用的。但是很清楚，自動(dòng)提取并不總是可能的，抽象層次越高，自動(dòng)提取的難度就越大，這時(shí)可以采用交互提取工具。但不管它們多么有用，無(wú)論是自動(dòng)的或半自動(dòng)的，都不包括在標(biāo)準(zhǔn)范圍之內(nèi)。主要原因是不需要對(duì)它們標(biāo)準(zhǔn)化以建立互操作性，而是留有競(jìng)爭(zhēng)的余地。另一個(gè)原因是在技術(shù)領(lǐng)域允許采納更好的改進(jìn)方案。搜索引擎也不包含在MPEG-7范圍之內(nèi)，它不需要，競(jìng)爭(zhēng)將產(chǎn)生最好的結(jié)果。

像其他MPEG家族成員一樣，MPEG-7是滿足特定需求的視聽(tīng)信息的標(biāo)準(zhǔn)表示。MPEG-7建立在其他標(biāo)準(zhǔn)表示的基礎(chǔ)之上，例如PCM、 MPEG-1、MPEG-2和MPEG-4。因此，MPEG-7會(huì)引用部分現(xiàn)有標(biāo)準(zhǔn)，如在MPEG-4中的形狀描述子也可以用于MPEG-7。相似地，也可以利用在MPEG-1和MPEG-2中的運(yùn)動(dòng)矢量。

但MPEG-7描述子將不依賴于被描述內(nèi)容的編碼和存儲(chǔ)方式?？梢园袽PEG-7的描述附加到模擬電影上去，或與印在紙上的圖片相關(guān)。即使 MPEG-7描述不依賴于資料的編碼表示，但是在某種程度上，該標(biāo)準(zhǔn)建立在MPEG-4之上。 MPEG-4提供對(duì)視聽(tīng)資料以對(duì)象方式編碼的方法，這些對(duì)象具有一定的時(shí)間(同步)和空間 (空間位置和三維感受)關(guān)系。利用MPEG-4編碼，將有可能把描述附加到場(chǎng)景中的元素(對(duì)象)上。

MPEG-7可以獨(dú)立于其他MPEG標(biāo)準(zhǔn)使用，在MPEG-4 中定義的表示方式也非常適合MPEG-7標(biāo)準(zhǔn)的建立。

MPEG-7強(qiáng)調(diào)的是提供新的視聽(tīng)內(nèi)容描述方案。因此，文本不是MPEG-7的描述目標(biāo)，但視聽(tīng)內(nèi)容可以包含或引用文本。因此，MPEG-7將考慮現(xiàn)有的其他標(biāo)準(zhǔn)組織開(kāi)發(fā)的文本處理方案，并適當(dāng)?shù)刂С诌@些標(biāo)準(zhǔn)。

四、 如何描述多媒體數(shù)據(jù)的內(nèi)容

1.描述原則

在MPEG-7中，考慮了全面的描述原則。

(1) 多重和分層描述

由于描述特征在相應(yīng)的應(yīng)用中具有相應(yīng)的含義，對(duì)于不同的用戶領(lǐng)域和不同的應(yīng)用，描述特征將是不同的。

這意味著相同的資料可以使用不同類型的特征進(jìn)行描述，以適應(yīng)具體的應(yīng)用領(lǐng)域。這里涉及到多重描述和分層描述的問(wèn)題。在描述上，MPEG-7 允許不同的顆粒度，提供不同的鑒別級(jí)別。

多重描述就是在多媒體數(shù)據(jù)生成處理的各階段，支持對(duì)相同資料進(jìn)行多重描述的能力，并可以把描述附加到相同資料的多份拷貝上。

分層描述基于多媒體資料的抽象級(jí)別。分層機(jī)制可以允許在不同的抽象級(jí)別上描述多媒體內(nèi)容。抽象級(jí)別與特征抽取的方式有關(guān)，許多低級(jí)特征可以全自動(dòng)地抽取，而高級(jí)特征則需要更多的人工交互。另外，還可以從不同的應(yīng)用需求角度來(lái)描述媒體資料，例如從子對(duì)象的角度、運(yùn)動(dòng)分析的序列角度、視頻的情節(jié)結(jié)構(gòu)等角度描述多媒體內(nèi)容。

描述模式支持不同描述子的分層表示，第N層描述是 N-1層描述的增強(qiáng)、精煉或補(bǔ)充，以便查詢能有效地一層一層地處理，支持高效的查詢。

(2) 關(guān)系描述

用描述模式來(lái)表達(dá)描述子之間的各種關(guān)系，允許描述子在多個(gè)描述模式中使用。

MPEG-7支持描述子與不同時(shí)間范圍相關(guān)聯(lián)，可以是層次型的，即描述子與整個(gè)數(shù)據(jù)和部分時(shí)間子集關(guān)聯(lián);或順序型的，描述子與時(shí)間段順序關(guān)聯(lián)。

(3) 支持查詢方面

支持音頻、視覺(jué)或其他描述子在交叉模式下的查詢，如允許基于視覺(jué)描述的查詢?nèi)z索音頻數(shù)據(jù)或相反的過(guò)程。

描述模式支持描述子的優(yōu)先級(jí)，以便更有效地處理查詢，同時(shí)優(yōu)先級(jí)可以反映信任或可靠級(jí)。另外，還可以支持描述子作為句柄，直接引用數(shù)據(jù)，操縱多媒體資料。

2.多媒體特征類型

MPEG-7支持各種類型的多媒體特征，如:

N維時(shí)空特征 對(duì)于空間類型，從微觀上看，是對(duì)象的紋理和形狀，從宏觀上看，是對(duì)象的空間關(guān)系和表現(xiàn)空間;時(shí)間類型，指對(duì)象隨時(shí)間變化的軌跡，如音樂(lè)區(qū)段的持續(xù)時(shí)間等。

客觀特征 反映視聽(tīng)數(shù)據(jù)本身具備的特性。如對(duì)象的顏色、形狀、紋理、音頻頻率等。

主觀特征 人對(duì)視聽(tīng)數(shù)據(jù)的主觀感知。如對(duì)情緒(快樂(lè)、憤怒)和風(fēng)格的描述。

產(chǎn)品特征 如記錄作者、生產(chǎn)者、導(dǎo)演等信息。

合成信息 包括場(chǎng)景合成、編輯信息、用戶的喜好等。

概念 用于描述事件和活動(dòng)等概念。

在許多情況下，利用文本信息作為描述是可取的。但必須注意到，有用的描述盡可能獨(dú)立于語(yǔ)言范疇，采用清楚的描述形式，如用作者、影片、地名的文本形式。

除了內(nèi)容的描述，還需要包含其他類型有關(guān)多媒體數(shù)據(jù)的信息：

形式 如編碼模式、數(shù)據(jù)大小。該信息幫助確定資料是否對(duì)用戶是“可讀”的。

存取資料的條件 可以包含版權(quán)、許可證和授權(quán)信息以及價(jià)格數(shù)據(jù)。

類別 可以包含父等級(jí)，用于歸入預(yù)定的類。

到其他相關(guān)資料的鏈 支持其他信息與數(shù)據(jù)的關(guān)聯(lián)。

上下文 資料記錄的場(chǎng)合，如“1996年奧運(yùn)會(huì)男子200 米障礙決賽” 中描述的時(shí)間和地點(diǎn)。

交互活動(dòng) 支持交互活動(dòng)工具，允許說(shuō)明與描述相關(guān)的交互活動(dòng)。如與廣告相關(guān)的遠(yuǎn)程購(gòu)物中的交互。

MPEG-7數(shù)據(jù)可以物理上與相關(guān)的AV資料在一起或在相同的數(shù)據(jù)流或在相同的存儲(chǔ)系統(tǒng)中，但描述也可以放在全球的任何其他地方。當(dāng)內(nèi)容和它的描述不在一個(gè)地方時(shí)，需要鏈接AV資料和它們的MPEG-7描述的機(jī)制，這些鏈應(yīng)該是雙向的。

3. 視覺(jué)數(shù)據(jù)的描述

MPEG-7具體對(duì)視覺(jué)方面的描述子和描述模式有以下方面的要求：

(1) 特征類型

視覺(jué)描述允許以下特征(與查詢中使用的信息類型有關(guān))：顏色、視覺(jué)對(duì)象、紋理、輪廓(草圖)、形狀、靜止和動(dòng)態(tài)圖像、體積、空間關(guān)系(相對(duì)于圖像和圖像序列中的對(duì)象空間和拓?fù)潢P(guān)系，這個(gè)關(guān)系是空間合成關(guān)系)、運(yùn)動(dòng)(如視頻鏡頭中的運(yùn)動(dòng)，用于利用時(shí)間合成信息來(lái)檢索等方面)、變形(如對(duì)象的彎曲)、視覺(jué)對(duì)象的源和它的特性(如源對(duì)象、源事件、源屬性、事件、事件屬性等)、模型(如MPEG-4 SNHC)。

(2) 利用描述進(jìn)行數(shù)據(jù)可視化

MPEG-7數(shù)據(jù)描述應(yīng)該容許被索引數(shù)據(jù)或多或少地粗略可視化。

(3) 可視數(shù)據(jù)的格式

支持以下可視數(shù)據(jù)格式：數(shù)字視頻和電影(例如MPEG- 1/2/4)、模擬視頻和電影、電子形式的靜態(tài)圖像(如JPEG)或紙上的圖像、圖形、3D模型以及與視頻關(guān)聯(lián)的編輯數(shù)據(jù)。

(4) 可視數(shù)據(jù)類型

可以是自然視頻、靜態(tài)圖像、圖形、動(dòng)畫(huà)、三維模型、編輯信息。

4.聽(tīng)覺(jué)數(shù)據(jù)的描述

同樣，對(duì)音頻數(shù)據(jù)的描述子和描述模式有以下要求：

(1) 特征類型

頻率輪廓線、音頻對(duì)象、音色、和聲、頻率特征、振幅包絡(luò)、時(shí)間結(jié)構(gòu)(包括節(jié)奏)、文本內(nèi)容(語(yǔ)音或歌詞)、聲波近似值(通過(guò)哼唱一段旋律或發(fā)出一種聲音效果來(lái)生成)、原型聲音(典型的用于示例查詢)、空間結(jié)構(gòu)(用于多通道聲源，如立體聲、5.1通道等，每個(gè)聲道有特定的映像)、聲源和它的特性(例如源對(duì)象、源時(shí)間、源屬性、事件、事件屬性和典型的關(guān)聯(lián)場(chǎng)景)、模型(如MPEG-4 SAOL)。

(2) 描述數(shù)據(jù)的聽(tīng)覺(jué)化

類似視覺(jué)數(shù)據(jù)的要求。

(3) 聽(tīng)覺(jué)數(shù)據(jù)格式

數(shù)字音頻(如MPEG-1音頻、CD)、模擬音頻(如錄音帶介質(zhì))、MIDI(包括一般的MIDI和Karaoke格式)、基于模型的音頻、產(chǎn)品數(shù)據(jù)。

(4) 聽(tīng)覺(jué)數(shù)據(jù)類

聲音軌跡(自然音頻場(chǎng)景)、音樂(lè)、原子聲音效果(如掌聲)、語(yǔ)音、符號(hào)音頻表示(MIDI、SNHC音頻)、混音信息(包括效果)。

五、 多媒體研究與MPEG-7

MPEG-7將標(biāo)準(zhǔn)化各種類型多媒體信息的描述，但它不包含描述子/特征的提取，也不規(guī)范搜索引擎和其他使用這些描述的程序。因此，圍繞 MPEG-7，在多媒體信息存取方面，以下工作可以進(jìn)一步開(kāi)展：

1.存取接口

研究通用的和與應(yīng)用相關(guān)的多媒體信息查詢接口。例如在鍵盤上演奏幾個(gè)音符來(lái)查詢音樂(lè)、用“尖叫的剎車聲音”查找出汽車追逐的場(chǎng)景;在屏幕上畫(huà)一些線段，獲得一組包含相似圖形、標(biāo)志和符號(hào)的圖像;定義對(duì)象的顏色和紋理，獲得與你選擇的特征相似的圖像;對(duì)于給定的一組對(duì)象，描述運(yùn)動(dòng)和對(duì)象之間的關(guān)系，獲得一組動(dòng)態(tài)圖像，包含描述的時(shí)空關(guān)系;在給定內(nèi)容條件下，描述情節(jié)，并獲得多個(gè)相似情節(jié)發(fā)生的場(chǎng)景，等等。另外一些值得考慮的問(wèn)題是：如何組合這些查詢;如何在查詢過(guò)程中引入交互和優(yōu)先級(jí);如何設(shè)計(jì)一種查詢語(yǔ)言;如何構(gòu)造瀏覽和可視化視圖，以建立更有效和可靠的多媒體信息存取接口。

2.特征提取和檢索引擎

自動(dòng)和半自動(dòng)的特征提取方法。這對(duì)大規(guī)模的多媒體數(shù)據(jù)管理是非常有價(jià)值的。這里把特征提取和檢索引擎放在一起討論是因?yàn)閮烧叩难芯吭跈z索效率和有效性方面是緊密聯(lián)系在一起的，即檢索有效性使用戶和系統(tǒng)得到查找的東西而不是其他;檢索效率使用戶或系統(tǒng)快速得到所要的結(jié)果。這需要研究者探討更能代表媒體數(shù)據(jù)內(nèi)容的特征(便于區(qū)分)，以及高效的索引結(jié)構(gòu)和算法。

3.廣泛的多媒體應(yīng)用研究

MPEG-7不僅僅用于多媒體信息的檢索，更能廣泛地用于其他與多媒體信息內(nèi)容管理相關(guān)的領(lǐng)域。許多應(yīng)用和應(yīng)用領(lǐng)域?qū)腗PEG-7標(biāo)準(zhǔn)中獲得好處。在MPEG-7推薦的應(yīng)用中實(shí)際上蘊(yùn)涵了許多值得研究的課題。