整理了18個(gè)Python爬蟲(chóng)實(shí)戰(zhàn)案例
來(lái)源丨網(wǎng)絡(luò)
目錄
爬蟲(chóng)小工具
文件下載小助手
爬蟲(chóng)實(shí)戰(zhàn)
筆趣看小說(shuō)下載
VIP視頻下載
百度文庫(kù)文章下載_rev1
百度文庫(kù)文章下載_rev2
《帥啊》網(wǎng)帥哥圖片下載
構(gòu)建代理IP池
《火影忍者》漫畫(huà)下載
財(cái)務(wù)報(bào)表下載小助手
一小時(shí)入門(mén)網(wǎng)絡(luò)爬蟲(chóng)
抖音App視頻下載_rev1
抖音App視頻下載_rev2
抖音App視頻下載_rev3
GEETEST驗(yàn)證碼破解
12306搶票小助手
百萬(wàn)英雄答題輔助系統(tǒng)
網(wǎng)易云音樂(lè)批量下載
B站視頻和彈幕批量下載
其它
爬蟲(chóng)小工具
downloader.py:文件下載小助手
一個(gè)可以用于下載圖片、視頻、文件的小工具，有下載進(jìn)度顯示功能。稍加修改即可添加到自己的爬蟲(chóng)中。
動(dòng)態(tài)示意圖：
爬蟲(chóng)實(shí)戰(zhàn)
1、biqukan.py:《筆趣看》盜版小說(shuō)網(wǎng)站，爬取小說(shuō)工具
第三方依賴(lài)庫(kù)安裝：
pip3 install beautifulsoup4
使用方法：
python biqukan.py
2、video_downloader：愛(ài)奇藝等主流視頻網(wǎng)站的VIP視頻破解助手(暫只支持PC和手機(jī)在線(xiàn)觀(guān)看VIP視頻！)
感謝Python3二維碼生成器作者：
https://github.com/sylnsfar/qrcode
編譯好的軟件下載鏈接：https://pan.baidu.com/s/1bqSTNJL 密碼:p8bs
解壓密碼：cuijiahua.com
無(wú)需Python3環(huán)境，在Windows下，解壓即用！軟件使用方法
源碼可查看video_downloader，運(yùn)行源碼需要搭建Python3環(huán)境，并安裝相應(yīng)第三方依賴(lài)庫(kù)：
在video_downloader文件夾下，安裝第三方依賴(lài)庫(kù)：
pip3 install -r requirements.txt
使用方法：
python movie_downloader.py
運(yùn)行環(huán)境：
Windows, Python3
Linux, Python3
Mac, Python3
3、baiduwenku.py: 百度文庫(kù)word文章爬取
原理說(shuō)明：
http://blog.csdn.net/c406495762/article/details/72331737
代碼不完善，沒(méi)有進(jìn)行打包，不具通用性，純屬娛樂(lè)，以后有時(shí)間會(huì)完善。
4、shuaia.py: 爬取《帥啊》網(wǎng)，帥哥圖片
《帥啊》網(wǎng)URL：http://www.shuaia.net/index.html
原理說(shuō)明：
http://blog.csdn.net/c406495762/article/details/72597755
第三方依賴(lài)庫(kù)安裝：
pip3 install requests beautifulsoup4
5、daili.py: 構(gòu)建代理IP池
原理說(shuō)明：
http://blog.csdn.net/c406495762/article/details/72793480
6、carton: 使用Scrapy爬取《火影忍者》漫畫(huà)
代碼可以爬取整個(gè)《火影忍者》漫畫(huà)所有章節(jié)的內(nèi)容，保存到本地。更改地址，可以爬取其他漫畫(huà)。保存地址可以在settings.py中修改。
動(dòng)漫網(wǎng)站：http://comic.kukudm.com/
原理說(shuō)明：
http://blog.csdn.net/c406495762/article/details/72858983
7、hero.py: 《王者榮耀》推薦出裝查詢(xún)小助手
網(wǎng)頁(yè)爬取已經(jīng)會(huì)了，想過(guò)爬取手機(jī)APP里的內(nèi)容嗎？
原理說(shuō)明：
http://blog.csdn.net/c406495762/article/details/76850843
8、financical.py: 財(cái)務(wù)報(bào)表下載小助手
爬取的數(shù)據(jù)存入數(shù)據(jù)庫(kù)會(huì)嗎？《跟股神巴菲特學(xué)習(xí)炒股之財(cái)務(wù)報(bào)表入庫(kù)(MySQL)》也許能給你一些思路。
原理說(shuō)明：
http://blog.csdn.net/c406495762/article/details/77801899
動(dòng)態(tài)示意圖：
9、one_hour_spider:一小時(shí)入門(mén)Python3網(wǎng)絡(luò)爬蟲(chóng)。
原理說(shuō)明:
知乎：https://zhuanlan.zhihu.com/p/29809609
CSDN：http://blog.csdn.net/c406495762/article/details/78123502
本次實(shí)戰(zhàn)內(nèi)容有：
網(wǎng)絡(luò)小說(shuō)下載(靜態(tài)網(wǎng)站)-biqukan
優(yōu)美壁紙下載(動(dòng)態(tài)網(wǎng)站)-unsplash
愛(ài)奇藝VIP視頻下載
10、douyin.py:抖音App視頻下載
抖音App的視頻下載，就是普通的App爬取。
原理說(shuō)明:個(gè)人網(wǎng)站：
http://cuijiahua.com/blog/2018/03/spider-5.html
11、douyin_pro:抖音App視頻下載（升級(jí)版）
抖音App的視頻下載，添加視頻解析網(wǎng)站，支持無(wú)水印視頻下載，使用第三方平臺(tái)解析。
原理說(shuō)明:個(gè)人網(wǎng)站：
http://cuijiahua.com/blog/2018/03/spider-5.html
12、douyin_pro_2:抖音App視頻下載（升級(jí)版2）
抖音App的視頻下載，添加視頻解析網(wǎng)站，支持無(wú)水印視頻下載，通過(guò)url解析，無(wú)需第三方平臺(tái)。
原理說(shuō)明:個(gè)人網(wǎng)站：
http://cuijiahua.com/blog/2018/03/spider-5.html
動(dòng)態(tài)示意圖：
13、geetest.py:GEETEST驗(yàn)證碼破解
爬蟲(chóng)最大的敵人之一是什么？沒(méi)錯(cuò)，驗(yàn)證碼！Geetest作為提供驗(yàn)證碼服務(wù)的行家，市場(chǎng)占有率還是蠻高的。遇到Geetest提供的滑動(dòng)驗(yàn)證碼怎么破？授人以魚(yú)不如授人以漁，接下來(lái)就為大家呈現(xiàn)本教程的精彩內(nèi)容。
原理說(shuō)明:
http://www.cuijiahua.com/blog/2017/11/spider_2_geetest.html
動(dòng)態(tài)示意圖：
14、12306.py:用Python搶火車(chē)票簡(jiǎn)單代碼
可以自己慢慢豐富，蠻簡(jiǎn)單，有爬蟲(chóng)基礎(chǔ)很好操作，沒(méi)有原理說(shuō)明。
15、baiwan:百萬(wàn)英雄輔助答題
效果圖：
原理說(shuō)明：http://cuijiahua.com/blog/2018/01/spider_3.html
功能介紹：
服務(wù)器端，使用Python（baiwan.py）通過(guò)抓包獲得的接口獲取答題數(shù)據(jù)，解析之后通過(guò)百度知道搜索接口匹配答案，將最終匹配的結(jié)果寫(xiě)入文件（file.txt)。
手機(jī)抓包不會(huì)的朋友，可以看下我的早期手機(jī)APP抓包教程。
Node.js（app.js）每隔1s讀取一次file.txt文件，并將讀取結(jié)果通過(guò)socket.io推送給客戶(hù)端（index.html）。
親測(cè)答題延時(shí)在3s左右。
聲明：沒(méi)做過(guò)后端和前端，花了一天時(shí)間，現(xiàn)學(xué)現(xiàn)賣(mài)弄好的，javascript也是現(xiàn)看現(xiàn)用，百度的程序，調(diào)試調(diào)試而已。可能有很多用法比較low的地方，用法不對(duì)，請(qǐng)勿見(jiàn)怪，有大牛感興趣，可以自行完善。
16、Netease:根據(jù)歌單下載網(wǎng)易云音樂(lè)
效果圖：
功能介紹：根據(jù)music_list.txt文件里的歌單的信息下載網(wǎng)易云音樂(lè)，將自己喜歡的音樂(lè)進(jìn)行批量下載。
17、bilibili：B站視頻和彈幕批量下載
使用說(shuō)明：
python bilibili.py -d 貓 -k 貓 -p 10
三個(gè)參數(shù)：
-d 保存視頻的文件夾名
-k B站搜索的關(guān)鍵字
-p 下載搜索結(jié)果前多少頁(yè)