嵌入式DSP上的視頻編解碼分析
通用視頻標(biāo)準(zhǔn)和編解碼器
聯(lián)合視頻組(Joint Video Team, JVT)由 ITU的視頻編碼專家組(Video Coding Experts Group, VCEG)和ISO/IEC運(yùn)動(dòng)圖像專家組(Moving Picture Experts Group, MPEG)組成。VCEG開發(fā)自愿性標(biāo)準(zhǔn),用于會(huì)話和非會(huì)話類音/視頻應(yīng)用的先進(jìn)移動(dòng)圖像編碼。 MPEG開發(fā)國(guó)際標(biāo)準(zhǔn),用于移動(dòng)圖像、音頻及兩者組合的壓 縮、編碼、解壓縮、處理等,以滿足各種應(yīng)用??傊?,JVT已經(jīng)開發(fā)了包括ITU H.262/MPEG2和H.264/MPEG-4 AVC在內(nèi)的最流行的視頻標(biāo)準(zhǔn)。
MPEG-2 Video/H.262:MPEG2(ISO/IEC 13818-2),也被稱為ITU-T H.262,是目前消費(fèi)類電子視頻設(shè)備中使用最廣泛的視頻編碼標(biāo)準(zhǔn)。MPE2視頻用于數(shù)字電視廣播:包括地面、電纜和直接衛(wèi)星廣播。它能在25fps (Pal)或者30fps(NTSC)的固定幀率下達(dá)到720x576象素成像。此外,它也是DVD視頻中必需的編解碼器。
MPEG-4-SP/ASP: ISO/IEC 14496-2描述了 MPEG4簡(jiǎn)單類(Simple Profile, SP)/高級(jí)簡(jiǎn)單類(Advanced Simple Profile, ASP)。其中,SP用于下一代便攜式終端和窄帶互聯(lián)網(wǎng)。而ASP增加若干工具,編碼效率提高了1.5到2倍。他們兩個(gè)均在市場(chǎng)上獲得越來越多的接受
MPEG-4-AVC/ITU-T H.264:先進(jìn)視頻編碼(AVC)是由ISO/MPEG和ITU-T聯(lián)合技術(shù)委員會(huì)開發(fā)的多媒體標(biāo)準(zhǔn)。AVC提供更高的壓縮率,更好的視頻質(zhì)量和比MPEG2更高的容錯(cuò)性,有望用于互聯(lián)網(wǎng)廣播和移動(dòng)通訊。
Windows Media Video(WVM)/SMPTE VC-1:WMV9是微軟的多媒體標(biāo)準(zhǔn),其特性包括支持流處理,可變比特率,以及與MPEG-4-AVC/H.264相媲美的容錯(cuò)工具。除了用于家庭電 腦,WMV9目前也在電影院用于數(shù)字投影。電影中使用的編碼可以是7~12Mbps的恒定比特率CBR或可變比特率VBR,并達(dá)到DVE解析度 (720x480)。
應(yīng)用方案
特定的目標(biāo)應(yīng)用決定了系統(tǒng)要求,因而帶動(dòng)了系統(tǒng)設(shè)計(jì)的選擇。
個(gè)人媒體播放器(PMP):個(gè)人媒體播放器是帶大容量存儲(chǔ)器的便攜式設(shè)備,通過對(duì)存儲(chǔ)的文件進(jìn)行解碼,可以觀看視頻、聽音樂或者瀏覽數(shù)碼照片。由于是便攜式播 放器,因此功耗至關(guān)重要。既然編碼和流處理功能都不需要,并且屏幕尺寸通常是比較小的QVGA或者CIF格式,其可通過基于DSP的 方案很好的解決。采用DSP的優(yōu)勢(shì)還在于可輕松支持多種視頻和音頻標(biāo)準(zhǔn)。例如:LSI針對(duì)高性能嵌入式系統(tǒng)的可授權(quán)DSP核ZSP500,可為此類應(yīng)用提 供充足的視頻處理能力。此外,ZSP500還可以提供杰出的音頻解碼能力,使DSP可在較低的頻率下運(yùn)行;從而使音頻/視頻子系統(tǒng)功耗很低。而存儲(chǔ)器、鍵 盤、顯示和文件系統(tǒng)可通過微控制器執(zhí)行。
圖:標(biāo)準(zhǔn)視頻編解碼器的時(shí)間表。
當(dāng)然,某些PMP具備把播放器連接到普通電視機(jī)的視頻輸出功能。雖然PMP集成的顯示屏幕相對(duì)較小,但現(xiàn)在的視頻解碼尺寸通常達(dá)到D1格式。依據(jù)播放器的功 能列表要求,設(shè)備需要集成1個(gè)或者多個(gè)視頻解碼標(biāo)準(zhǔn);對(duì)于在電視幀率(25-30幀/秒)下D1格式視頻解碼,硬件視頻解碼器是最佳選擇。多個(gè)視頻解碼標(biāo) 準(zhǔn)可能需要多個(gè)硬件模塊。實(shí)行多個(gè)解碼標(biāo)準(zhǔn)會(huì)提高系統(tǒng)成本,但不會(huì)提高功耗,因?yàn)橥粫r(shí)間只有一個(gè)模塊會(huì)被激活。多標(biāo)準(zhǔn)音頻解碼可在小而高效的嵌入式 DSP核中實(shí)現(xiàn),而無需增加額外的硬件成本(存儲(chǔ)解碼器的空間除外)。而微控制器將用于控制DSP和視頻硬件解碼器。
當(dāng)僅用于播放音頻時(shí)— 如典型的MP3播放器,也可使用單DSP解決方案。此系統(tǒng)中DSP進(jìn)行音頻解碼、文件/流數(shù)據(jù)處理,還同時(shí)控制鍵盤、顯示屏和存儲(chǔ)器等。由于DSP處理音 頻解碼更為高效,因此使用如ZSP400 DSP而非微控制器可以顯著降低功耗。此外,基于DSP的解決方案可進(jìn)行軟件升級(jí),以支持運(yùn)算更為密集的音頻標(biāo)準(zhǔn)(比如aac Plus),此時(shí)微控制器可能無法處理額外增加的負(fù)荷。
視頻移動(dòng)電話:該類應(yīng)用的視頻尺寸是QCIF或者CIF,幀率從10到30幀每秒。 是否需要支持多種視頻/音頻解碼標(biāo)準(zhǔn)取決于電話的功能要求。視頻將是流視頻或者短的視頻序列回放。通過軟件解碼而無需額外硬件,既可滿足這些設(shè)備的性能要 求。而且大多數(shù)的電話集成了微控制器和DSP,因此視頻解碼可通過DSP實(shí)現(xiàn),這也使得低功耗精巧系統(tǒng)成為可能。另外一些電話可能包含PMP或者數(shù)碼攝像 機(jī)的一些功能,單純的DSP設(shè)計(jì)方案無法滿足要求,這就需要額外的硬件加速。
視頻桌面電話:該設(shè)備提供視頻會(huì)議功能,需要在強(qiáng)實(shí)時(shí)限制下完 成編解碼。如果幀尺寸和幀率有限,單DSP解決方案仍然可行。然而,大部分桌面電話具備QVGA或者更大的顯示屏;此外,用戶通常期望有比無線移動(dòng)設(shè)備更 佳的語音/視頻質(zhì)量。這意味幀率應(yīng)當(dāng)更高,掉幀率/卡幀率應(yīng)當(dāng)盡可能低,此時(shí)可能需要采用硬件解決方案完成視頻編解碼。語音編解碼可通過低成本的DSP (如ZSPneo)或者系統(tǒng)中的微控制器實(shí)現(xiàn)。
移動(dòng)數(shù)碼攝像機(jī)(DVR):對(duì)于該類設(shè)備,多標(biāo)準(zhǔn)編解碼沒有必要,大多數(shù)僅使用單一視頻編解碼標(biāo)準(zhǔn)。由于大尺寸,高幀率和低功耗的苛刻要求 ,純硬件解決方案通常是首選。而不需要DSP,此時(shí)系統(tǒng)微控制器用于驅(qū)動(dòng)視頻和音頻硬件模塊。
機(jī)頂盒:機(jī)頂盒需要完成高質(zhì)量視頻流的處理和已錄制的視頻文件的解碼。同DVR一樣,視頻質(zhì)量的要求(幀尺寸,幀率,比特率和容錯(cuò)能力)使其幾乎只能通過硬 件解碼來進(jìn)行。當(dāng)然,因?yàn)椴幌褚苿?dòng)設(shè)備對(duì)功耗要求那樣苛刻,也可采用多DSP核配合一些基本的硬件加速的方案來設(shè)計(jì)可處理各種視頻編解碼器的系統(tǒng)。根據(jù)功 能要求,機(jī)頂盒可能需要一定的靈活性:尤其是將其用于媒體播放器、數(shù)字VCR或網(wǎng)絡(luò)流媒體領(lǐng)域。這時(shí)可用DSP中的軟件處理音頻。為了實(shí)現(xiàn)這種靈活性,要 選擇不同的編解碼器完成回放、編碼、譯碼等功能,此時(shí)用于音頻處理的DSP將會(huì)是如ZSP500這樣的高性能處理器,以實(shí)現(xiàn)迎合家庭影院最新潮流的環(huán)繞 聲、聲音處理等功能要求。
基本設(shè)計(jì)配置
針對(duì)本文宗旨,我們可以考慮以下4種基本設(shè)計(jì)配置:第一種設(shè)計(jì)包含1個(gè) 微控制器和1個(gè)DSP(MC+DSP);第二種設(shè)計(jì)包括1個(gè)微控制器和1個(gè)DSP,但是DSP同時(shí)也控制1個(gè)視頻編碼/解碼硬件模塊(MC+[DSP+ VHW]);第三種設(shè)計(jì)使用1個(gè)微控制器,DSP和視頻編碼/解碼硬件模塊(MC+DSP+VHW),在該設(shè)計(jì)中微控制器控制DSP和視頻硬件模塊;最后 一種設(shè)計(jì)包含1個(gè)微控制器,1個(gè)視頻編碼/解碼硬件模塊,1個(gè)音頻編碼/解碼硬件模塊(MC+VHW+AHW)。在上述各類設(shè)計(jì)中,微控制器負(fù)責(zé)典型的嵌 入式控制任務(wù):包括用戶控制連接(如操縱桿控制),USB/UART/以太網(wǎng)驅(qū)動(dòng),協(xié)議層(如TCP/IP, HTTP)等。
表:各種視頻格式的典型帶寬。 [!--empirenews.page--]
MC+DSP-微控制器和DSP用于低視頻解析度(CIF),軟件可升級(jí),支持多種音、視頻標(biāo)準(zhǔn)的系統(tǒng)。DSP用于音頻解碼,視頻解碼和音/視頻同步。雖然性能有限,但系統(tǒng)非常靈活,此平臺(tái)可輕松實(shí)現(xiàn)多種音頻和視頻解碼格式支持。
MC +[DSP+VHW]—該視頻硬件模塊用于高解析度視頻編/解碼。DSP管理音頻編/解碼,也負(fù)責(zé)音/視頻同步,同時(shí)也能用于畫中畫或者其他視頻疊加功 能。該系統(tǒng)的一個(gè)優(yōu)勢(shì)是音頻/視頻子系統(tǒng)可設(shè)計(jì)為一個(gè)標(biāo)準(zhǔn)的多媒體編/解碼器,可輕松植入系統(tǒng)而不會(huì)增加太多的復(fù)雜性。DSP是系統(tǒng)多媒體部分的控制器。 由于多媒體編/解碼系統(tǒng)與微控制系統(tǒng)的連接很松散,因此其能夠被輕松整合進(jìn)眾多現(xiàn)有微控制器系統(tǒng)中,從而使這個(gè)方案具備相當(dāng)吸引力。該編/解碼系統(tǒng)可被當(dāng) 作一個(gè)具有標(biāo)準(zhǔn)本地總線接口的ASSP產(chǎn)品。
MC+DSP+VHW-在該配置中,DSP用于音頻編/解碼,而微控制器用于實(shí)現(xiàn)音/視頻同 步。這就需要更復(fù)雜的微控制器設(shè)計(jì),但可采用與MC+[DSP+VHW]系統(tǒng)相比功耗、成本都更低的DSP。由于微控制器必須協(xié)調(diào)DSP和VHW,同時(shí)還 要執(zhí)行其它的控制任務(wù)以及所有的協(xié)調(diào)操作,因此該方案實(shí)現(xiàn)困難很多。
該配置的一個(gè)變種是由DSP執(zhí)行視頻解碼、音頻編/解碼,而視頻編碼仍然由硬件執(zhí)行,這需要一個(gè)性能強(qiáng)大的DSP,但會(huì)使系統(tǒng)靈活性更強(qiáng),并支持多種視頻解碼標(biāo)準(zhǔn)。
MC +VHW+AHW-在該配置中,微控制器執(zhí)行除音、視頻編/解碼外的所有任務(wù)。音/視頻同步也由微控制器執(zhí)行。該解決方案除音頻子系統(tǒng)靈活性較差(僅能執(zhí) 行原始設(shè)計(jì)中的音頻編解碼器而不能軟件升級(jí))外,和MC+DSP+VHW很相象。其好處在于它能與特定應(yīng)用配合,與各種前述方案相比具有最佳的功耗。
視頻移動(dòng)電話:該類應(yīng)用的視頻尺寸是QCIF或者CIF,幀率從10到30幀每秒。 是否需要支持多種視頻/音頻解碼標(biāo)準(zhǔn)取決于電話的功能要求。視頻將是流視頻或者短的視頻序列回放。通過軟件解碼而無需額外硬件,既可滿足這些設(shè)備的性能要 求。而且大多數(shù)的電話集成了微控制器和DSP,因此視頻解碼可通過DSP實(shí)現(xiàn),這也使得低功耗精巧系統(tǒng)成為可能。另外一些電話可能包含PMP或者數(shù)碼攝像 機(jī)的一些功能,單純的DSP設(shè)計(jì)方案無法滿足要求,這就需要額外的硬件加速。
視頻桌面電話:該設(shè)備提供視頻會(huì)議功能,需要在強(qiáng)實(shí)時(shí)限制下完 成編解碼。如果幀尺寸和幀率有限,單DSP解決方案仍然可行。然而,大部分桌面電話具備QVGA或者更大的顯示屏;此外,用戶通常期望有比無線移動(dòng)設(shè)備更 佳的語音/視頻質(zhì)量。這意味幀率應(yīng)當(dāng)更高,掉幀率/卡幀率應(yīng)當(dāng)盡可能低,此時(shí)可能需要采用硬件解決方案完成視頻編解碼。語音編解碼可通過低成本的DSP (如ZSPneo)或者系統(tǒng)中的微控制器實(shí)現(xiàn)。
移動(dòng)數(shù)碼攝像機(jī)(DVR):對(duì)于該類設(shè)備,多標(biāo)準(zhǔn)編解碼沒有必要,大多數(shù)僅使用單一視頻編解碼標(biāo)準(zhǔn)。由于大尺寸,高幀率和低功耗的苛刻要求,純硬件解決方案通常是首選。而不需要DSP,此時(shí)系統(tǒng)微控制器用于驅(qū)動(dòng)視頻和音頻硬件模塊。
機(jī)頂盒:機(jī)頂盒需要完成高質(zhì)量視頻流的處理和已錄制的視頻文件的解碼。同DVR一樣,視頻質(zhì)量的要求(幀尺寸,幀率,比特率和容錯(cuò)能力)使其幾乎只能通過硬 件解碼來進(jìn)行。當(dāng)然,因?yàn)椴幌褚苿?dòng)設(shè)備對(duì)功耗要求那樣苛刻,也可采用多DSP核配合一些基本的硬件加速的方案來設(shè)計(jì)可處理各種視頻編解碼器的系統(tǒng)。根據(jù)功 能要求,機(jī)頂盒可能需要一定的靈活性:尤其是將其用于媒體播放器、數(shù)字VCR或網(wǎng)絡(luò)流媒體領(lǐng)域。這時(shí)可用DSP中的軟件處理音頻。為了實(shí)現(xiàn)這種靈活性,要 選擇不同的編解碼器完成回放、編碼、譯碼等功能,此時(shí)用于音頻處理的DSP將會(huì)是如ZSP500這樣的高性能處理器,以實(shí)現(xiàn)迎合家庭影院最新潮流的環(huán)繞 聲、聲音處理等功能要求。
基本設(shè)計(jì)配置
針對(duì)本文宗旨,我們可以考慮以下4種基本設(shè)計(jì)配置:第一種設(shè)計(jì)包含1個(gè) 微控制器和1個(gè)DSP(MC+DSP);第二種設(shè)計(jì)包括1個(gè)微控制器和1個(gè)DSP,但是DSP同時(shí)也控制1個(gè)視頻編碼/解碼硬件模塊(MC+[DSP+ VHW]);第三種設(shè)計(jì)使用1個(gè)微控制器,DSP和視頻編碼/解碼硬件模塊(MC+DSP+VHW),在該設(shè)計(jì)中微控制器控制DSP和視頻硬件模塊;最后 一種設(shè)計(jì)包含1個(gè)微控制器,1個(gè)視頻編碼/解碼硬件模塊,1個(gè)音頻編碼/解碼硬件模塊(MC+VHW+AHW)。在上述各類設(shè)計(jì)中,微控制器負(fù)責(zé)典型的嵌 入式控制任務(wù):包括用戶控制連接(如操縱桿控制),USB/UART/以太網(wǎng)驅(qū)動(dòng),協(xié)議層(如TCP/IP, HTTP)等。
表:各種視頻格式的典型帶寬。
MC+DSP-微控制器和DSP用于低視頻解析度(CIF),軟件可升級(jí),支持多種音、視頻標(biāo)準(zhǔn)的系統(tǒng)。DSP用于音頻解碼,視頻解碼和音/視頻同步。雖然性能有限,但系統(tǒng)非常靈活,此平臺(tái)可輕松實(shí)現(xiàn)多種音頻和視頻解碼格式支持。
MC +[DSP+VHW]—該視頻硬件模塊用于高解析度視頻編/解碼。DSP管理音頻編/解碼,也負(fù)責(zé)音/視頻同步,同時(shí)也能用于畫中畫或者其他視頻疊加功 能。該系統(tǒng)的一個(gè)優(yōu)勢(shì)是音頻/視頻子系統(tǒng)可設(shè)計(jì)為一個(gè)標(biāo)準(zhǔn)的多媒體編/解碼器,可輕松植入系統(tǒng)而不會(huì)增加太多的復(fù)雜性。DSP是系統(tǒng)多媒體部分的控制器。 由于多媒體編/解碼系統(tǒng)與微控制系統(tǒng)的連接很松散,因此其能夠被輕松整合進(jìn)眾多現(xiàn)有微控制器系統(tǒng)中,從而使這個(gè)方案具備相當(dāng)吸引力。該編/解碼系統(tǒng)可被當(dāng) 作一個(gè)具有標(biāo)準(zhǔn)本地總線接口的ASSP產(chǎn)品。
MC+DSP+VHW-在該配置中,DSP用于音頻編/解碼,而微控制器用于實(shí)現(xiàn)音/視頻同 步。這就需要更復(fù)雜的微控制器設(shè)計(jì),但可采用與MC+[DSP+VHW]系統(tǒng)相比功耗、成本都更低的DSP。由于微控制器必須協(xié)調(diào)DSP和VHW,同時(shí)還 要執(zhí)行其它的控制任務(wù)以及所有的協(xié)調(diào)操作,因此該方案實(shí)現(xiàn)困難很多。
該配置的一個(gè)變種是由DSP執(zhí)行視頻解碼、音頻編/解碼,而視頻編碼仍然由硬件執(zhí)行,這需要一個(gè)性能強(qiáng)大的DSP,但會(huì)使系統(tǒng)靈活性更強(qiáng),并支持多種視頻解碼標(biāo)準(zhǔn)。
MC +VHW+AHW-在該配置中,微控制器執(zhí)行除音、視頻編/解碼外的所有任務(wù)。音/視頻同步也由微控制器執(zhí)行。該解決方案除音頻子系統(tǒng)靈活性較差(僅能執(zhí) 行原始設(shè)計(jì)中的音頻編解碼器而不能軟件升級(jí))外,和MC+DSP+VHW很相象。其好處在于它能與特定應(yīng)用配合,與各種前述方案相比具有最佳的功耗。