一篇文章教會(huì)你利用Python網(wǎng)絡(luò)爬蟲獲取分類圖片
點(diǎn)擊上方“IT共享之家”，進(jìn)行關(guān)注
回復(fù)“資料”可獲贈(zèng)Python學(xué)習(xí)福利
【一、項(xiàng)目背景】
? ??博海拾貝是一支互聯(lián)網(wǎng)從業(yè)者在線教育的團(tuán)隊(duì)，扎根于中國(guó)教育行業(yè)以及互聯(lián)網(wǎng)行業(yè)的創(chuàng)新和眼球中，打造專業(yè)體系化的互聯(lián)網(wǎng)人在線教育平臺(tái)。精心創(chuàng)作許多精彩的文章，提供了很多有趣的圖片。
????今天來教大家如何使用Python來爬取博海拾貝的圖片，分類保存，寫入文檔。
【二、項(xiàng)目目標(biāo)】
? ?? 創(chuàng)建一個(gè)文件夾， 分類保存所有文章圖片。下載成功，結(jié)果顯示控制臺(tái)。
【三、項(xiàng)目分析】
1、如何找到真正訪問的地址，多網(wǎng)頁請(qǐng)求?
????滑動(dòng)鼠標(biāo)，觀察網(wǎng)站，右鍵F12 。鼠標(biāo)滾輪滑動(dòng)加載新內(nèi)容。如圖：
????點(diǎn)開隨機(jī)網(wǎng)頁 , 點(diǎn)開Request URL ，觀察網(wǎng)址的規(guī)律。
https://bh.sb/page/1/https://bh.sb/page/2/https://bh.sb/page/3/https://bh.sb/page/4/
????觀察到，每增加一頁page/{}/自增加1，用{}代替變換的變量，再用for循環(huán)遍歷這網(wǎng)址，實(shí)現(xiàn)多個(gè)網(wǎng)址請(qǐng)求。
2. ?反爬處理
??? 1）獲取正常的 http請(qǐng)求頭，并在requests請(qǐng)求時(shí)，設(shè)置這些常規(guī)的http請(qǐng)求頭。
??? 2）使用 fake_useragent ，產(chǎn)生隨機(jī)的UserAgent進(jìn)行訪問。
?
【四、涉及的庫和網(wǎng)站】
1、網(wǎng)址如下：
https://www.doutula.com/photo/list/?page={}2、涉及的庫：requests、lxml、fake_useragent、time、os
3、軟件：PyCharm
【五、項(xiàng)目實(shí)施】
1、我們定義一個(gè)class類繼承object，然后定義init方法繼承self，再定義一個(gè)主函數(shù)main繼承self。導(dǎo)入需要的庫和網(wǎng)址，創(chuàng)建保存文件夾。
import requests, osfrom lxml import etreefrom fake_useragent import UserAgentimport timeclass bnotiank(object):def __init__(self):os.mkdir("圖片") # 在創(chuàng)建文件夾 記住只有第一次運(yùn)行加上，如果多次運(yùn)行請(qǐng)注釋掉本行。def main(self):passif __name__ == '__main__':Siper=bnotiank()Siper.main()
2、隨機(jī)UserAgent ，構(gòu)造請(qǐng)求頭，防止反爬。
ua = UserAgent(verify_ssl=False)for i in range(1, 50):self.headers = {'User-Agent': ua.random}
3、發(fā)送請(qǐng)求 ，獲取響應(yīng)，頁面回調(diào)，方便下次請(qǐng)求。
'''發(fā)送請(qǐng)求 獲取響應(yīng)'''def get_page(self, url):res = requests.get(url=url, headers=self.headers)html = res.content.decode("utf-8")return html
4、定義parse_page函數(shù)，獲取二級(jí)頁面地址，for遍歷獲取需要的字段。
def parse_page(self, html):parse_html = etree.HTML(html)image_src_list = parse_html.xpath('//p/a/@href')# print(image_src_list)
5、對(duì)二級(jí)頁面發(fā)生請(qǐng)求，xpath解析數(shù)據(jù)，獲取大圖片鏈接。
reo = parse_html1.xpath('//div//div[@class="content"]') #父結(jié)點(diǎn)for j in reo:d = j.xpath('.//article[@class="article-content"]//p/img/@src')[0]text = parse_html1.xpath('//h1[@class ="article-title"] //a/text()')[0].strip()
6、請(qǐng)求圖片地址，寫入文檔。
html2 = requests.get(url=d, headers=self.headers).contentdirname = "./d/" + text + ".jpg" #定義圖命名with open(dirname, 'wb') as f:f.write(html2)print("%s 【下載成功?。。。 ? % text)
7、調(diào)用方法，實(shí)現(xiàn)功能。
url = self.url.format(page)print(url)html = self.get_page(url)self.parse_page(html)
8、設(shè)置延時(shí)。（防止ip被封）。
time.sleep(1) """時(shí)間延時(shí)"""【六、效果展示】
1、點(diǎn)擊綠色小三角運(yùn)行輸入起始頁，終止頁。
? ??
2、將下載成功信息顯示在控制臺(tái)。
3、text 作為圖片命名，展示效果如下所示。
【七、總結(jié)】
??? 1、不建議抓取太多數(shù)據(jù)，容易對(duì)服務(wù)器造成負(fù)載，淺嘗輒止即可。
??? 2、本文基于Python網(wǎng)絡(luò)爬蟲，講述了反爬技巧，利用爬蟲庫，實(shí)現(xiàn)了分類圖片的獲取，存入文檔。
??? 3、希望通過這個(gè)項(xiàng)目，能夠幫助了解xpath，字符串是如何拼接，format函數(shù)如何運(yùn)用。
??? 4、實(shí)現(xiàn)的時(shí)候，總會(huì)有各種各樣的問題，切勿眼高手低，勤動(dòng)手，才可以理解的更加深刻。
??? 5、需要本文源碼的小伙伴，后臺(tái)回復(fù)“博海拾貝”四個(gè)字，即可獲取。
看完本文有收獲？請(qǐng)轉(zhuǎn)發(fā)分享給更多的人
IT共享之家
入群請(qǐng)?jiān)谖⑿藕笈_(tái)回復(fù)【入群】
-------------------?End?-------------------
往期精彩文章推薦：