什么是C語(yǔ)言中的寬字符與多字節(jié)字符
C語(yǔ)言原本是在英文環(huán)境中設(shè)計(jì)的,主要的字符集是7位的ASCII碼,8位的byte(字節(jié))是最常見的字符編碼單位。但是國(guó)際化軟件必須能夠表示不同的字符,而這些字符數(shù)量龐大,無(wú)法使用一個(gè)字節(jié)編碼。
C95標(biāo)準(zhǔn)化了兩種表示大型字符集的方法:寬字符(wide character,該字符集內(nèi)每個(gè)字符使用相同的位長(zhǎng))以及多字節(jié)字符(multibyte character,每個(gè)字符可以是一到多個(gè)字節(jié)不等,而某個(gè)字節(jié)序列的字符值由字符串或流(stream)所在的環(huán)境背景決定)。
自從1994年的增補(bǔ)之后,C語(yǔ)言不只提供char類型,還提供wchar_t類型(寬字符),此類型定義在stddef.h 頭文件中。wchar_t指定的寬字節(jié)類型足以表示某個(gè)實(shí)現(xiàn)版本擴(kuò)展字符集的任何元素。
在多字節(jié)字符集中,每個(gè)字符的編碼寬度都不等,可以是一個(gè)字節(jié),也可以是多個(gè)字節(jié)。源代碼字符集和運(yùn)行字符集都可能包含多字節(jié)字符。多字節(jié)字符可以被用于字符的常量、字符串字面值(string literal)、標(biāo)識(shí)符(identifier)、注釋(comment),以及頭文件。
C語(yǔ)言本身并沒有定義或指定任何編碼集合,或任何字符集(基本源代碼字符集和基本運(yùn)行字符集除外),而是由其實(shí)現(xiàn)指定如何編碼寬字符,以及要支持什么類型的多字節(jié)字符編碼機(jī)制。
雖然C標(biāo)準(zhǔn)沒有支持Unicode字符集,但是許多實(shí)現(xiàn)版本使用Unicode轉(zhuǎn)換格式UTF-16和UTF-32來(lái)處理寬字符。如果遵循Unicode標(biāo)準(zhǔn),wchar_t類型至少是16或32位長(zhǎng),而wchar_t類型的一個(gè)值就代表一個(gè)Unicode字符。
UTF-8是一個(gè)由Unicode Consortium(萬(wàn)國(guó)碼聯(lián)盟)定義的實(shí)現(xiàn),可以表示Unicode字符集的所有字符。UTF-8字符所使用的空間大小從一個(gè)字節(jié)到四個(gè)字節(jié)都有可能。
多字節(jié)字符和寬字符(也就是wchar_t)的主要差異在于寬字符占用的字節(jié)數(shù)目都一樣,而多字節(jié)字符的字節(jié)數(shù)目不等,這樣的表示方式使得多字節(jié)字符串比寬字符串更難處理。比方說(shuō),即使字符'A'可以用一個(gè)字節(jié)來(lái)表示,但是要在多字節(jié)的字符串中找到此字符,就不能使用簡(jiǎn)單的字節(jié)比對(duì),因?yàn)榧词乖谀硞€(gè)位置找到相符合的字節(jié),此字節(jié)也不見得是一個(gè)字符,它可能是另一個(gè)不同字符的一部分。然而,多字節(jié)字符相當(dāng)適合用來(lái)將文字存儲(chǔ)成文件。
C提供了一些標(biāo)準(zhǔn)函數(shù),可以將多字節(jié)字符轉(zhuǎn)換為wchar_t,或?qū)捵址D(zhuǎn)換為多字節(jié)字符。比方說(shuō),如果C 編譯器使用Unicode 標(biāo)準(zhǔn)的UTF-16 和UTF-8,那么下面調(diào)用wctomb()函數(shù)就可以獲得字符的多字節(jié)表示方式(注:wctomb = wide character to multibyte)。
來(lái)源:ks993次