手把手教你,抓取美女圖片(批量下載)—— 實(shí)戰(zhàn)篇

前言

01

????首先，你要安裝pycharm軟件，具體操作可以參考這篇文章：Pycharm安裝及創(chuàng)建項(xiàng)目教程，爬蟲主要工具可以參考這篇文章：Python主要爬蟲工具

????今天介紹如何在Pycharm安裝lxml模塊和requests模塊

?????依次點(diǎn)擊Project: (這里是你創(chuàng)建的名字)，在點(diǎn)下面的Project?Interpreter，點(diǎn)擊 + 號進(jìn)行添加模塊

打開后，在空格里添加你要下載的模塊，點(diǎn)擊Install Package?進(jìn)行下載，下載過程會很慢，這時候我們添加國內(nèi)鏡像源

清華：https://pypi.tuna.tsinghua.edu.cn/simple

02

????爬蟲思路分析，進(jìn)入我們要分析的網(wǎng)頁，第一張圖片。右鍵檢查，到下面頁面。點(diǎn)擊連接，到下一個網(wǎng)頁

????這是鏈接下的高清圖片

該地址就是我們想要的數(shù)據(jù)，我們發(fā)現(xiàn)data-original就是高清圖片地址

03

????找到需要下載的鏈接地址，我們要把所有的高清圖片全部下載下來，接下來就是最重要的時刻了，編寫代碼過程

????鏈接地址：

http://www.win4000.com/meinvtag4_1.html

1. 導(dǎo)入requests，lxml模塊包

import requestsfrom lxml import etree

2.?確定url地址和請求頭

url = "http://www.win4000.com/meinvtag4_1.html"headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'}

什么是請求頭

????簡單來說就是模擬瀏覽器

??? User-Agent：瀏覽器類型，如果Servlet返回的內(nèi)容與瀏覽器類型有關(guān)則該值非常有用。

3.?請求數(shù)據(jù)并解析數(shù)據(jù)

def get_data(imgs):    # 解析數(shù)據(jù)    html = etree.HTML(imgs)    href_list = html.xpath('//div[@class="Left_bar"]//ul/li/a/@href')    for href in href_list:        response01 = requests.get(href, headers=headers).text        html01 = etree.HTML(response01)        img_list = html01.xpath('//div[@class="pic-meinv"]/a/img/@data-original')[0]        # 請求圖片數(shù)據(jù)        img_url = requests.get(img_list, headers=headers).content

????這里使用了嵌套循環(huán)，因?yàn)槟阍L問的是原網(wǎng)頁，網(wǎng)頁下還有，一個圖片專輯那里才是，我們的想要的高清圖片，所以要使用嵌套循環(huán)

4. 保存數(shù)據(jù)

def save_data():    file_name = img_list.split('/')[-1]     with open(r'Q:\xing\img\\' + file_name , mode="wb") as f:        print("正在下載圖片：" + file_name)        f.write(img_url)

img_list.split('/')[-1]就是以下圖，圖片鏈接地址后半部分進(jìn)行分割，來定義為文件名稱。

查看我們保存的圖片

總結(jié)

????本文介紹了，在pycharm中安裝模塊及使用，為什么要用請求頭，并分析網(wǎng)頁，得到我們想要的圖片，提前部署請求頭，模擬瀏覽器，針對反爬蟲提前做了準(zhǔn)備。

創(chuàng)作不易，歡迎關(guān)注

????往期精彩，歡迎瀏覽

? ??

????Python抓取互聯(lián)網(wǎng)相關(guān)職位

????Pyhton抓取4K動漫壁紙

????Python抓取二手車信息

????Pyhton抓取全站酷6視頻