C ?讀取?UTF-8?及?GBK?系列的文本方法及原理
[導(dǎo)讀]1.讀取UTF-8編碼文本原理首先了解UTF-8的編碼方式，UTF-8采用可變長編碼的方式，一個字符可占1字節(jié)-6字節(jié)，其中每個字符所占的字節(jié)數(shù)由字符開始的1的個數(shù)確定，具體的編碼方式如下：U-00000000–U-0000007F:0xxxxxxxU-00000080–U-00...
1.讀取 UTF-8 編碼文本原理
首先了解 UTF-8 的編碼方式，UTF-8 采用可變長編碼的方式，一個字符可占 1 字節(jié) -6 字節(jié)，其中每個字符所占的字節(jié)數(shù)由字符開始的 1 的個數(shù)確定，具體的編碼方式如下：
其中 Text 抽象類的定義如下：
首先了解 UTF-8 的編碼方式，UTF-8 采用可變長編碼的方式，一個字符可占 1 字節(jié) -6 字節(jié)，其中每個字符所占的字節(jié)數(shù)由字符開始的 1 的個數(shù)確定，具體的編碼方式如下：
U-00000000 – U-0000007F: 0xxxxxxxU-00000080 – U-000007FF: 110xxxxx 10xxxxxxU-00000800 – U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxxU-00010000 – U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxxU-00200000 – U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxxU-04000000 – U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx因此，對于每個字節(jié)如果起始位為“0”則說明，該字符占有 1 字節(jié)。如果起始位為“10”則說明該字節(jié)不是字符的其實字節(jié)。如果起始為為 n 個“1” 1個“0”，則說明改字符占有 n 個字節(jié)。其中1≤n≤6。因此對于 UTF-8 的編碼，我們只需要每次計算每個字符開始字節(jié)的 1 的個數(shù)，就可以確定這個字符的長度。GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);color: rgb(34, 34, 34);border-bottom: 1px solid rgb(238, 238, 238);line-height: 1.75em;box-sizing: border-box !important;overflow-wrap: break-word !important;">2.讀取 GBK 系列文本原理
對于 ASCII、GB2312、GBK 到 GB18030 編碼方法是向下兼容的?，即同一個字符在這些方案中總是有相同的編碼，后面的標準支持更多的字符。在這些編碼中，英文和中文可以統(tǒng)一地處理。區(qū)分中文編碼的方法是高字節(jié)的最高位不為 0。因此我們只需處理好 GB18130，就可以處理與他兼容的所有編碼，對于GB18130 使用雙字節(jié)變長編碼。單字節(jié)部分從 0×0~0x7F 與 ASCII 編碼兼容。雙字節(jié)部分，首字節(jié)從 0×81~0xFE，尾字節(jié)從 0×40~0x7E以及 0×80~0xFE，與 GBK 標準基本兼容。因此只需檢測首字節(jié)是否小于 0×81 即可確定其為單字節(jié)編碼還是雙字節(jié)編碼。GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);color: rgb(34, 34, 34);border-bottom: 1px solid rgb(238, 238, 238);line-height: 1.75em;box-sizing: border-box !important;overflow-wrap: break-word !important;">3.C 代碼實現(xiàn)
對于一個語言處理系統(tǒng)，讀取不同編碼的文本應(yīng)該是最基礎(chǔ)的需求，文本的編碼方式應(yīng)該對系統(tǒng)其他調(diào)用者透明，只需每次獲取一個字符即可，而不需要關(guān)注這個文本的編碼方式。從而我們定義了抽象類 Text，及其接口ReadOneChar，并使兩個文本類 GbkText 和 UtfText 繼承這個抽象類，當(dāng)系統(tǒng)需要讀取更多種編碼的文件時，只需要定義新的類然后繼承該抽象類即可，并不需要更改調(diào)用該類的代碼。從而獲得更好的擴展性。更好的方式是使用簡單工廠模式，使不同的文本編碼格式對于調(diào)用類完全透明，簡單工廠模式詳解請參看：設(shè)計模式：可復(fù)用面向?qū)ο筌浖A(chǔ)。其中 Text 抽象類的定義如下：
#ifndef TEXT_H#define TEXT_H#include #include using namespace std;class Text{ protected: char * m_binaryStr; size_t m_length; size_t m_index; public: Text(string path); void SetIndex(size_t index); virtual bool ReadOneChar(string 
下載文檔本站聲明： 本文章由作者或相關(guān)機構(gòu)授權(quán)發(fā)布，目的在于傳遞更多信息，并不代表本站贊同其觀點，本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者，如若文章內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系本站刪除。
換一批
延伸閱讀
上海2022年5月25日 /美通社/ -- 近日，國際獨立第三方檢測、檢驗和認證機構(gòu)德國萊茵TUV大中華區(qū)（以下簡稱“TUV萊茵”）攜手英國建筑研究院（BRE），為上海建科集...
關(guān)鍵字： 照明系統(tǒng) PERFORMANCE 能源管理 GB
熱門文章
- 消息稱陳立武會成英特爾CEO：臺積電、AMD等都是華人在領(lǐng)導(dǎo)
- 美國宣布新一輪制裁！涉及24種設(shè)備、3款軟件、136家中企（附詳細名單）
- 美國將這140家中國半導(dǎo)體公司列入實體清單
- 長電科技正式易主！
- 突發(fā)！美國計劃再對200家中企“下黑手”
- 意法半導(dǎo)體加碼中國！40nm MCU將由華虹代工
- 人類歷史上第一款！百度無代碼工具“秒噠”發(fā)布
- 臺積電即將對中國大陸斷供7nm及以下制程：內(nèi)部人士回應(yīng)
- 突發(fā)！英國更新制裁清單，10家中企被列入！
- 向?qū)嶓w名單企業(yè)供應(yīng)1700萬美元晶圓：格芯被美國罰款50萬美元
編輯精選
更多
論壇活動
- 21ic 官方微信
- 嵌入式微處理器
- 21ic微信視頻號
- 21ic抖音號
本站介紹 | 申請友情鏈接 | 歡迎投稿 | 隱私聲明 | 廣告業(yè)務(wù) | 網(wǎng)站地圖 | 聯(lián)系我們 | 誠聘英才
ICP許可證號：京ICP證070360號 21IC電子網(wǎng) 2000- 版權(quán)所有 用戶舉報窗口（ 郵箱：macysun@21ic.com 電話：010-82165003 ）
