常用數(shù)據(jù)無損壓縮算法分析
當(dāng)今,各種信息系統(tǒng)的數(shù)據(jù)量越來越大,如何更快、更多、更好地傳輸與存儲數(shù)據(jù)成為數(shù)據(jù)信息處理的首要問題,而數(shù)據(jù)壓縮技術(shù)則是解決這一問題的重要方法。事實上,從壓縮軟件WINRAR到熟知的MP3,數(shù)據(jù)壓縮技術(shù)早已應(yīng)用于各個領(lǐng)域。
2 數(shù)據(jù)壓縮技術(shù)概述
本質(zhì)上壓縮數(shù)據(jù)是因為數(shù)據(jù)自身具有冗余性。數(shù)據(jù)壓縮是利用各種算法將數(shù)據(jù)冗余壓縮到最小,并盡可能地減少失真,從而提高傳輸效率和節(jié)約存儲空間。
數(shù)據(jù)壓縮技術(shù)一般分為有損壓縮和無損壓縮。無損壓縮是指重構(gòu)壓縮數(shù)據(jù)(還原,解壓縮),而重構(gòu)數(shù)據(jù)與原來數(shù)據(jù)完全相同。該方法用于那些要求重構(gòu)信號與原始信號完全一致的場合,如文本數(shù)據(jù)、程序和特殊應(yīng)用場合的圖像數(shù)據(jù)(如指紋圖像、醫(yī)學(xué)圖像等)的壓縮。這類算法壓縮率較低,一般為1/2~1/5。典型的無損壓縮算法有:Shanno-Fano編碼、Huffman(哈夫曼)編碼、算術(shù)編碼、游程編碼、LZW編碼等。而有損壓縮是重構(gòu)使用壓縮后的數(shù)據(jù),其重構(gòu)數(shù)據(jù)與原來數(shù)據(jù)有所不同,但不影響原始資料表達(dá)信息,而壓縮率則要大得多。有損壓縮廣泛應(yīng)用于語音、圖像和視頻的數(shù)據(jù)壓縮。常用的有損壓縮算法有PCM(脈沖編碼調(diào)制)、預(yù)測編碼、變換編碼(離散余弦變換、小波變換等)、插值和外推(空域亞采樣、時域亞采樣、自適應(yīng))等。新一代的數(shù)據(jù)壓縮算法大多采用有損壓縮,例如矢量量化、子帶編碼、基于模型的壓縮、分形壓縮和小波壓縮等。
3 常用數(shù)據(jù)無損壓縮算法
3.1 游程編碼
這種數(shù)據(jù)壓縮思想:如果數(shù)據(jù)項d在輸入流中連續(xù)出現(xiàn)n次,則以單個字符對nd來替換連續(xù)出現(xiàn)n次的數(shù)據(jù)項,這n個連續(xù)出現(xiàn)的數(shù)據(jù)項叫游程n,這種數(shù)據(jù)壓縮方法稱游程編碼(RLE),其實現(xiàn)流程如圖1所示。RLE算法具有實現(xiàn)簡單,壓縮還原速度快等優(yōu)點,只需掃描一次原始數(shù)據(jù)即可完成數(shù)據(jù)壓縮。其缺點是呆板,適應(yīng)性差,不同的文件格式的壓縮率波動大,平均壓縮率低。實踐表明,RLE能夠壓縮復(fù)雜度不高的原始點陣圖像。
3.2 基于字典編碼技術(shù)的LZW算法
LZW算法是LZ78的流行變形,由Terrv Welch在1984年開發(fā)。LZW算法首先將字母表中的所有字符初始化到字典,常用8位字符,在輸入任何數(shù)據(jù)前優(yōu)先占用字典的前256項(0~255)。LZW編碼的原理:編碼器逐個輸入字符并累積一個字符串I。每輸入一個字符則串接在I后面,然后在字典中查找I;只要找到I,該過程繼續(xù)執(zhí)行搜索。直到在某一點,添加下一個字符x導(dǎo)致搜索失敗,這意味著字符串I在字典中,而Ix(字符x串接在I后)卻不在。此時編碼器輸出指向字符串,的字典指針;并在下一個可用的字典詞條中存儲字符串Ix;把字符串I預(yù)置為x。其壓縮流程如圖2所示。
因為字典的前256項被占用,因此字典指針必須高于8位。由于LZW算法的字典中的字符串每次僅增加一個字符。因此,要獲得長字符串則需較長時間,這樣才能較好地壓縮.IZW編碼能夠適應(yīng)輸入數(shù)據(jù)。
LZW算法與其他算法相比具有自適應(yīng)的特點,即可以根據(jù)壓縮內(nèi)容不同來建立不同字典,以減少冗余度,提高壓縮比;并且解壓時這個字典無需與壓縮代碼同時傳送,而是在解壓過程中逐步建立與壓縮時完全相同的字典,從而完整、準(zhǔn)確地恢復(fù)被壓縮內(nèi)容。因此,LZW算法是一種解碼速度與壓縮性能較好的壓縮算法。
實現(xiàn)LZW算法需要考慮以下幾點:
(1)字典建立(數(shù)據(jù)結(jié)構(gòu)與字典大小) LZW字典的數(shù)據(jù)結(jié)構(gòu)是一棵多叉樹。字典越大,代替的子串越多。但應(yīng)用中字典容量則受一定限制,要權(quán)衡利弊選擇合適的字典。
(2)字典維護(hù)與更新 字典指針由哈希函數(shù)生成。正確選擇哈希函數(shù)非常重要,這將影響執(zhí)行效率。正確的哈希函數(shù)所產(chǎn)生的重復(fù)值極少,這樣檢索字符串所需比較次數(shù)也較少,從而可有效提高代碼的執(zhí)行效率。
當(dāng)字典滿時,字典的維護(hù)和更新對壓縮率也是至關(guān)重要的??芍匦聫某跏紶顟B(tài)建立字典;也可監(jiān)測壓縮率,當(dāng)壓縮率變壞時全部或部分清除字典。
(3)壓縮數(shù)據(jù)代碼長度 壓縮時,輸入數(shù)據(jù)一般是8位。但壓縮后的輸出是轉(zhuǎn)化的字符串代碼,其中0~255為8位碼,256為9位碼,25l~512為10位碼,l 024為11位碼。解壓則相反,需要位操作。因此,輸出可以從9位碼開始,隨著字典內(nèi)容的增加,碼字也逐漸增加。這樣可提高執(zhí)行效率,但在譯碼時需考慮不等長碼的識別,可通過設(shè)置標(biāo)志位來解決。
3.3 基于哈夫曼編碼原理的壓縮算法
哈夫曼算法的過程為:統(tǒng)計原始數(shù)據(jù)中各字符出現(xiàn)的頻率;所有字符按頻率降序排列;建立哈夫曼樹:將哈夫曼樹存入結(jié)果數(shù)據(jù);重新編碼原始數(shù)據(jù)到結(jié)果數(shù)據(jù)。哈夫曼算法實現(xiàn)流程如圖3所示。
哈夫曼算法的實質(zhì)是針對統(tǒng)計結(jié)果對字符本身重新編碼,而不是對重復(fù)字符或重復(fù)子串編碼。實用中.符號的出現(xiàn)頻率不能預(yù)知,需要統(tǒng)計和編碼兩次處理,所以速度較慢,無法實用。而自適應(yīng)(或動態(tài))哈夫曼算法取消了統(tǒng)計,可在壓縮數(shù)據(jù)時動態(tài)調(diào)整哈夫曼樹,這樣可提高速度。因此,哈夫曼編碼效率高,運算速度快,實現(xiàn)方式靈活。
采用哈夫曼編碼時需注意的問題:
(1)哈夫曼碼無錯誤保護(hù)功能,譯碼時,碼串若無錯就能正確譯碼;若碼串有錯應(yīng)考慮增加編碼,提高可靠性。
(2)哈夫曼碼是可變長度碼,因此很難隨意查找或調(diào)用壓縮文件中間的內(nèi)容,然后再譯碼,這就需要在存儲代碼之前加以考慮。
(3)哈夫曼樹的實現(xiàn)和更新方法對設(shè)計非常關(guān)鍵。
3.4 基于算術(shù)編碼的壓縮算法
算術(shù)編碼壓縮也是一種根據(jù)字符出現(xiàn)概率重新編碼的壓縮方案。該思想和哈夫曼編碼有些相似,但哈夫曼編碼的每個字符需用整數(shù)個位表示。而算術(shù)編碼方法則無這一限制,它是將輸入流視為整體進(jìn)行編碼。雖然算術(shù)編碼壓縮率高.但運算復(fù)雜,速度慢。
4 結(jié)語
游程編碼和LZW編碼屬于基于字典模型的壓縮算法,而哈夫曼編碼和算術(shù)編碼屬于基于統(tǒng)計模型的壓縮算法,前者與原始數(shù)據(jù)的排列次序有關(guān)而與其出現(xiàn)頻率無關(guān),后者則正好相反。這兩類壓縮方法算法思想各有所長,相互補(bǔ)充。許多壓縮軟件結(jié)合了這兩類算法。例如WINRAR就采用了字典編碼和哈夫曼編碼算法。這幾種數(shù)據(jù)無損壓縮算法應(yīng)用廣泛,設(shè)計人員可以根據(jù)具體應(yīng)用中的數(shù)據(jù)流特點來改進(jìn)算法從而開發(fā)適用的軟硬件壓縮器。