盤點3種Python網絡爬蟲過程中的中文亂碼的處理方法
回復“書籍”即可獲贈Python從入門到進階共10本電子書
????大家好,我是Python進階者。前幾天給大家分享了一些亂碼問題的文章,感興趣的小伙伴可以前往:UnicodeEncodeError: 'gbk' codec can't encode character解決方法,這里再次給大家祭出網絡爬蟲過程中三種中文亂碼的處理方案,希望對大家的學習有所幫助。
前言
????前幾天有個粉絲在Python交流群里問了一道關于使用Python網絡爬蟲過程中中文亂碼的問題,如下圖所示。



????看上去確實頭大,對于爬蟲初學者來說,這個亂碼擺在自己面前,猶如攔路虎一般難頂。不過別慌,小編在這里給大家整理了三種方法,專門用于針對中文亂碼的,希望大家在后面再次遇到中文亂碼的問題,在此處可以得到靈感!
一、思路
????其實解決問題的關鍵點就是在于一點,就是將亂碼的部分進行處理,而處理的方案主要可以從兩個方面進行出發(fā)。其一是針對整體網頁進行提前編碼,其二是針對局部具體中文亂碼的部分進行編碼處理。這里例舉3種方法,肯定還有其他的方法的,也歡迎大家在評論區(qū)諫言。
二、分析
????其實關于中文亂碼的表現形式有很多,但是常見的兩種如下:
1、當出現網頁編碼為gbk,獲取到的內容在控制臺打印類似如下情況的時候:
?à?? μ???×à ?ü?ì ?ú·? ?é°? D?????4k±ú??2、當出現網頁編碼為gbk,獲取到的內容在控制臺打印類似如下情況的時候:
????? ??? ? С? Ψ??????雖然看上去控制臺輸出正常,沒有報錯:
Process finished with exit code 0????但是輸出的中文內容,卻不是普通人能看得懂的。
????這種情況下的話,就可以通過使用本文給出的三種方法進行解決,屢試不爽!
三、具體實現

? ? 此時可以考慮將請求變?yōu)?content,得到的內容就是正常的了。

# 手動設定響應數據的編碼格式response.encoding?=?response.apparent_encoding


????上面介紹的兩種方法都是針對網頁進行整體編碼,效果顯著,接下來的第三種方法就是針對中文局部亂碼部分使用通用編碼方法進行處理。
img_name.encode('iso-8859-1').decode('gbk')使用通用的編碼方法,對中文出現亂碼的地方進行編碼設定即可。還是當前的這個例子,針對img_name進行編碼設定,指定編碼并進行解碼,如下圖所示。

????如此一來,中文亂碼的問題就迎刃而解了。
四、總結
??? 我是Python進階者。本文基于粉絲提問,針對Python網絡爬蟲過程中的中文亂碼問題,給出了3種亂碼解決方法,順利幫助粉絲解決了問題。雖然文中例舉了3種方法,但是小編相信肯定還有其他的方法的,也歡迎大家在評論區(qū)諫言。

????小伙伴們,快快用實踐一下吧!如果在學習過程中,有遇到任何問題,歡迎加我好友,我拉你進Python學習交流群共同探討學習。
-------------------?End?-------------------
往期精彩文章推薦:

歡迎大家點贊,留言,轉發(fā),轉載,感謝大家的相伴與支持
想加入Python學習群請在后臺回復【入群】
萬水千山總是情,點個【在看】行不行
/今日留言主題/
隨便說一兩句吧~~
