用Python下載煎蛋網(wǎng)全站好看的小姐姐！

轉(zhuǎn)載來(lái)自：Python技術(shù)

春天到了，春光明媚，鳥(niǎo)語(yǔ)花香，各地都回溫了！公園里面的花都開(kāi)了，這幾天都沒(méi)有心情工作，準(zhǔn)備周末出去游山玩水，踏踏青！先用Python爬取一波妹子圖，摸摸魚(yú)吧。

導(dǎo)入模塊

首先把用到的模塊貼進(jìn)來(lái)。

import requests
from bs4 import BeautifulSoup
import time
import random

抓取

煎蛋網(wǎng)的抓取流程：從第 101 頁(yè)開(kāi)始抓取，提取頁(yè)面上的女裝圖片 url，請(qǐng)求 url 后保存圖片，點(diǎn)擊下一頁(yè)，重復(fù)循環(huán)...。

當(dāng)訪問(wèn)煎蛋網(wǎng)的 http://jandan.net/girl 頁(yè)面的時(shí)候，它是顯示的最后一頁(yè)。通過(guò)上面的分頁(yè)控件獲取下一頁(yè)的 url。

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36'
}

def get_html(url):
    
    resp = requests.get(url = url, headers = headers)
    soup = BeautifulSoup(resp.text)
    return soup

def get_next_page(soup):
    next_page = soup.find(class_='previous-comment-page')
    next_page_href = next_page.get('href')
    return f'http:{next_page_href}'

可以看到每個(gè)圖片上都有[查看原圖] 的超鏈接，提取這個(gè) href 就是可以下載圖片了。

def get_img_url(soup):
    a_list = soup.find_all(class_ = 'view_img_link')
    urls = []
    for a in a_list:
        href = 'http:' + a.get('href')
        urls.append(href)
    return urls

保存圖片就更簡(jiǎn)單了，request 請(qǐng)求后直接寫(xiě)入文件。

def save_image(urls):
    for item in urls:
        name = item.split('/')[-1]
        resp = requests.get(url=item, headers = headers)
        with open('D:/xxoo/' + name, 'wb') as f:
            f.write(resp.content)
        time.sleep(random.randint(2,5))

最后來(lái)看一下抓取結(jié)果吧。

總結(jié)

這篇 request 爬蟲(chóng)適合剛?cè)?python 和沒(méi)學(xué)過(guò) soup 模塊的小伙伴。有興趣的小伙伴，可以動(dòng)手敲一下代碼?？窗俦?，讀千邊，不如動(dòng)手敲一邊。學(xué)習(xí)Python一定要?jiǎng)邮植僮?，?shí)戰(zhàn)才行。

掃碼加入，3周零基礎(chǔ)入門(mén)

推薦閱讀:
入門(mén): 最全的零基礎(chǔ)學(xué)Python的問(wèn)題  | 零基礎(chǔ)學(xué)了8個(gè)月的Python  | 實(shí)戰(zhàn)項(xiàng)目 |學(xué)Python就是這條捷徑

干貨:爬取豆瓣短評(píng)，電影《后來(lái)的我們》 | 38年NBA最佳球員分析 |   從萬(wàn)眾期待到口碑撲街！唐探3令人失望  | 笑看新倚天屠龍記 | 燈謎答題王 ｜用Python做個(gè)海量小姐姐素描圖 ｜碟中諜這么火，我用機(jī)器學(xué)習(xí)做個(gè)迷你推薦系統(tǒng)電影

趣味:彈球游戲  | 九宮格  | 漂亮的花 | 兩百行Python《天天酷跑》游戲!

AI: 會(huì)做詩(shī)的機(jī)器人 | 給圖片上色 | 預(yù)測(cè)收入 | 碟中諜這么火，我用機(jī)器學(xué)習(xí)做個(gè)迷你推薦系統(tǒng)電影

小工具: Pdf轉(zhuǎn)Word，輕松搞定表格和水印！ | 一鍵把html網(wǎng)頁(yè)保存為pdf！|  再見(jiàn)PDF提取收費(fèi)！ | 用90行代碼打造最強(qiáng)PDF轉(zhuǎn)換器，word、PPT、excel、markdown、html一鍵轉(zhuǎn)換 | 制作一款釘釘?shù)蛢r(jià)機(jī)票提示器！ ｜60行代碼做了一個(gè)語(yǔ)音壁紙切換器天天看小姐姐！｜