Python之中文亂碼解決方案

在Python2.X及Python3有時經(jīng)常碰到各種中文亂碼的情況，這里整理了相關(guān)各種情況匯總。

字符串在Python內(nèi)部的表示是unicode編碼，因此，在做編碼轉(zhuǎn)換時，通常需要以unicode作為中間編碼，即先將其他編碼的字符串解碼（decode）成unicode，再從unicode編碼（encode）成另一種編碼。

decode的作用是將其他編碼的字符串轉(zhuǎn)換成unicode編碼，如str1.decode('gb2312')，表示將gb2312編碼的字符串str1轉(zhuǎn)換成unicode編碼。

encode的作用是將unicode編碼轉(zhuǎn)換成其他編碼的字符串，如str2.encode('gb2312')，表示將unicode編碼的字符串str2轉(zhuǎn)換成gb2312編碼。

因此，轉(zhuǎn)碼的時候一定要先搞明白，字符串str是什么編碼，然后decode成unicode，然后再encode成其他編碼

代碼中字符串的默認編碼與代碼文件本身的編碼一致。
如：s='中文'
如果是在utf8的文件中，該字符串就是utf8編碼，如果是在gb2312的文件中，則其編碼為gb2312。

（與代碼本身的編碼是一致的！）

測試：
我的eclipse里面代碼為utf-8編碼的。然后我這樣寫代碼
s="你好"
s=s.decode('gb2312').encode('utf-8')
print s
報錯：
UnicodeDecodeError: 'gb2312' codec can't decode bytes in position 2-3: illegal multibyte sequence
原因：因為我的文件為UTF-8編碼的。所以你想用gb2312將其轉(zhuǎn)成unicode是不可能的。
所以正確的寫法應(yīng)當(dāng)是：
s="你好"
print s
s=s.decode('utf-8').encode('utf-8') 要用UTF-8來做編碼
print s
哈哈發(fā)現(xiàn)打印出來的是亂碼那只能說明一件事情就是我的eclipse控制臺是GB2312的編碼！

請看：
如何獲得系統(tǒng)的默認編碼？
#!/usr/bin/env python
#coding=utf-8
import sys
print sys.getdefaultencoding()

該段程序在英文WindowsXP上輸出為：ascii  。我發(fā)現(xiàn)我的linux上面也是ascii編碼。所以我想打印出來看到的亂碼是正常的。因為我其實是utf-8編碼的。

在某些IDE中，字符串的輸出總是出現(xiàn)亂碼，甚至錯誤，其實是由于IDE的結(jié)果輸出控制臺自身不能顯示字符串的編碼，而不是程序本身的問題。（是的。我的eclipse控制臺就是gb2312的編碼所以我文件保存為utf-8的時候然后再通過打印是亂碼了?。?/span>


1、讀文件命令肯定是：
myfile = codecs.open("c.html","r","utf-8") 因為我用gb2312來讀的話報錯

心得：檢查一個字符串是什么編碼只需要看一下decode 如果用gb2312來decode沒報錯的話就表示是gb2312
如果用utf-8來decode沒有報錯的話就表示是utf-8

現(xiàn)在遇到一個問題就是
請看：
myfile = codecs.open("c.html","r","utf-8") 
str = myfile.read()                               
content = str.replace("\n"," ")  
content = content.encode('utf-8')
print content
沒有報錯
再看：
myfile = codecs.open("c.html","r","utf-8") 
str = myfile.read()                                 # 顯示中文
content = str.replace("\n"," ")  
content = content.encode('gb2312')                 # 用gb2312
print content
報錯：UnicodeEncodeError: 'gb2312' codec can't encode character u'\u2014' in position 12628

再看：
myfile = codecs.open("d.html","r","utf-8") 
str = myfile.read()                                 #顯示中文
content = str.replace("\n"," ")  
content = content.encode('gb2312')                # 用gb2312
print content
沒問題
myfile = codecs.open("d.html","r","utf-8") 
str = myfile.read()                                 #顯示中文
content = str.replace("\n"," ")  
content = content.encode('utf-8')                
print content
也沒問題

結(jié)論：我想是c.html頁面里面 存在某些 特殊字符 只支持utf-8編碼。而不支持gb2312的編碼！
而d.html沒有這種特殊字符。這也就解釋了為什么
有的文件并沒有發(fā)生我們想像中的問題！

所以我感覺打開文件肯定是用utf-8來讀取得到一個unicode編碼值！
然后對其做utf-8的編碼處理。因為如果你做gb2312處理的話就會報錯了！

接著：
我看了一下我的正則表達式發(fā)現(xiàn)如果用gb2312做解碼處理的話一樣會報錯。所以斷定肯定是utf-8編碼了！

regex3 = regex3.decode('utf-8')
print type(regex3)                # 返回為unicode碼了！
print regex3                      # 居然打印為正常的中文顯示了 奇怪