原文:http://www.cnblogs.com/malecrab/p/5300486.html
用Notepad++創(chuàng)建一個文本文件text.txt,其默認編碼格式為ANSI(乍看之下,還以為是ASCII呢),輸入漢字居然不是亂碼:
保存為test.txt,發(fā)送給你美國的同事Bob。他也用Notepad++,不幸的是,卻發(fā)現(xiàn)你的文件內(nèi)容是這樣的:
也許你會認為:你用的是中文系統(tǒng),能正常顯示中文;他用的是英文系統(tǒng),不能顯示中文!
這么想,好像很有道理呢!
但是再細想一下:一個系統(tǒng)顯示亂碼,說明它不支持這種編碼格式(或者解碼方式不對)。難道英文系統(tǒng)不支持ANSI?難道ANSI是一種中文編碼?
如果你身邊有一個韓文系統(tǒng),也裝一個Notepad++,默認還是ANSI編碼,你可以輸入“???”,發(fā)現(xiàn)也能正常顯示:
但是你要輸入“漢字”可能就會發(fā)現(xiàn)是亂碼了...
通過這個反例,就可以說明ANSI不是一種中文編碼。那么,ANSI到底是什么編碼?
用十六進制編輯器打開內(nèi)容為“漢字”的test.txt文件:?
你會發(fā)現(xiàn):其中baba和d7d6正好是“漢”和“字”兩個字的GBK編碼值。
同樣,用十六進制編輯器打開內(nèi)容為“???”的test.txt文件:
你會發(fā)現(xiàn):其中c7d1、b1b9和beee正好是“?”、“?”和“?”三個字符的EUC-KR編碼值。
由此可以看出:其實ANSI并不是某一種特定的字符編碼,而是在不同的系統(tǒng)中,ANSI表示不同的編碼。你的美國同事Bob的系統(tǒng)中ANSI編碼其實是ASCII編碼(ASCII編碼不能表示漢字,所以漢字為亂碼),而你的系統(tǒng)中(“漢字”正常顯示)ANSI編碼其實是GBK編碼,而韓文系統(tǒng)中(“???”正常顯示)ANSI編碼其實是EUC-KR編碼。
話說計算機是由美國搞出來的嘛,他們覺得一個字節(jié)(可以表示256個編碼)表示英語世界里所有的字母、數(shù)字和常用特殊符號已經(jīng)綽綽有余了(其實ASCII只用了前127個編碼)。
后來歐洲人不干了,法國人說:我需要在小寫字母加上變音符號(如:é),德國人說:我也要加幾個字母(? ?、? ?、ü ü、?)。于是,歐洲人就將ASCII沒用完的編碼(128-255)為自己特有的符號編碼(后來稱之為“擴展字符集”)。
等到我們中國人開始使用計算機的時候,尼瑪,256個編碼哪夠?我泱泱大中華,漢字起碼也得N多萬吧,就連小學生都得要求掌握兩三千字。國標局最后拍板:一個字節(jié)不夠,那我們就用多個字節(jié)來為漢字編碼吧,但是,國情那么窮,字節(jié)那么貴,三個字節(jié)傷不起,那就用倆字節(jié)吧,先給常用的幾千漢字編個碼,等以后國家強盛了人民富裕了,咱再擴展唄---于是GB2312就產(chǎn)生了。
臺灣同胞一看,尼瑪,全是簡體字,還讓不讓我們寫繁體字的活了,于是臺灣同胞也自己弄了個繁體字編碼---大五碼(Big-5)。同時,其它國家也在為自己的文字編碼。最后,微軟苦逼了:顧客就是上帝啊,你們的編碼我都得滿足啊.
這樣吧,賣給美國國內(nèi)的系統(tǒng)默認就用ASCII編碼吧,賣給中國人的系統(tǒng)默認就用GBK編碼吧,賣給韓國人的系統(tǒng)默認就用EUC-KR編碼,但是為了避免你們誤會我賣給你們的系統(tǒng)功能有差異,我就統(tǒng)一把你們的默認編碼都顯示成ANSI吧。---本故事純屬虛構,但“ANSI編碼”確實只存在于Windows系統(tǒng)。
那么Windows系統(tǒng)是如何區(qū)分ANSI背后的真實編碼的呢?
微軟用一個叫“Windows code pages”(在命令行下執(zhí)行chcp命令可以查看當前code page的值)的值來判斷系統(tǒng)默認編碼,比如:簡體中文的code page值為936(它表示GBK編碼,win95之前表示GB2312,詳見:Microsoft Windows' Code Page 936),繁體中文的code page值為950(表示Big-5編碼)。
我們能否通過修改Windows code pages的值來改變“ANSI編碼”呢?
命令提示符下,我們可以通過chcp命令來修改當前終端的active code page,例如:
? ?(1) 執(zhí)行:chcp 437,code page改為437,當前終端的默認編碼就為ASCII編碼了(漢字就成亂碼了);
? ?(2) 執(zhí)行:chcp 936,code page改為936,當前終端的默認編碼就為GBK編碼了(漢字又能正常顯示了)。
? 上面的操作只在當前終端起作用,并不會影響系統(tǒng)默認的“ANSI編碼”。(更改命令行默認codepage參看:設置cmd的codepage的方法)。
Windows下code page是根據(jù)當前系統(tǒng)區(qū)域(locale)來設置的,要想修改系統(tǒng)默認的“ANSI編碼”,我們可以通過修改系統(tǒng)區(qū)域來實現(xiàn)(“控制面板” =>“時鐘、語言和區(qū)域”=>“區(qū)域和語言”=>“管理”=>“更改系統(tǒng)區(qū)域設置...”):
圖中的系統(tǒng)locale為簡體中文,意味著當前“ANSI編碼”實際是GBK編碼。當你把它改成Korean(Korea)時,“ANSI編碼”實際是EUC-KR編碼,“???”就能正常顯示了;當你把它改成English(US)時,“ANSI編碼”實際是ASCII編碼,“漢字”和“???”都成亂碼了。(改了之后需要重啟系統(tǒng)的。。。)
說明:locale是國際化與本地化中重要的概念,本文不深入講解該內(nèi)容。
你上面說的都是windows的情形吧,Linux呢?
將前述內(nèi)容為“漢字”的文件test.txt拷貝至Linux下,用Emacs打開:
也是亂碼!原因也是locale的問題:
更改locale后再打開:
正常顯示了。。。
? ?參考:
知乎:
Windows 記事本的 ANSI、Unicode、UTF-8 這三種編碼模式有什么區(qū)別?
GBK編碼
GB2312簡體中文編碼表
韓國euc-kr碼(即Wansung碼)與Unicode碼及原字形對照表
維基百科:Code page 1386
MSDN:Code Page Identifiers
python CGI模塊獲取中文編碼問題解決- 部分方案
http://www.360doc.com/content/15/0105/15/9934052_438371998.shtml
阮一峰:字符編碼筆記:ASCII,Unicode和UTF-8
猜你喜歡
干貨 | 嵌入式必備技能之Git的使用
C語言、嵌入式中幾個非常實用的宏技巧
嵌入式系統(tǒng)軟件架構設計
Linux下應用開發(fā)基礎
【Linux筆記】Pinctrl子系統(tǒng)與GPIO子系統(tǒng)
免責聲明:本文來源網(wǎng)絡,免費傳達知識,版權歸原作者所有。如涉及作品版權問題,請聯(lián)系我進行刪除。
免責聲明:本文內(nèi)容由21ic獲得授權后發(fā)布,版權歸原作者所有,本平臺僅提供信息存儲服務。文章僅代表作者個人觀點,不代表本平臺立場,如有問題,請聯(lián)系我們,謝謝!