開(kāi)源爬蟲(chóng)框架 Scrapy 快速入門

作者：wedo 實(shí)驗(yàn)君

來(lái)源：Python 中文社區(qū)

一、Scrapy 簡(jiǎn)介

Scrapy 是基于事件驅(qū)動(dòng)的 Twisted 框架下用純 Python 寫(xiě)的爬蟲(chóng)框架。它可以用來(lái)爬取網(wǎng)絡(luò)上的圖片和文本信息，讀完本文包你會(huì)用。

1.1 Scrapy 框架

Scrapy ????框架包括 5 個(gè)主要的組件和 2 個(gè)中間件 Hook。

• ENGIINE：整個(gè)框架的控制中心， 控制整個(gè)爬蟲(chóng)的流程。根據(jù)不同的條件添加不同的事件（就是用的 Twisted）
• SCHEDULER：事件調(diào)度器
• DOWNLOADER：接收爬蟲(chóng)請(qǐng)求，從網(wǎng)上下載數(shù)據(jù)
• SPIDERS：發(fā)起爬蟲(chóng)請(qǐng)求，并解析 DOWNLOADER 返回的網(wǎng)頁(yè)內(nèi)容，同時(shí)和數(shù)據(jù)持久化進(jìn)行交互,需要開(kāi)發(fā)者編寫(xiě)
• ITEM PIPELINES：接收 SPIDERS 解析的結(jié)構(gòu)化的字段，進(jìn)行持久化等操作，需要開(kāi)發(fā)者編寫(xiě)
• MIDDLEWARES：ENGIINE 和 SPIDERS、ENGIINE 和 DOWNLOADER 之間一些額外的操作，hook 的方式提供給開(kāi)發(fā)者

從上可知，我們只要實(shí)現(xiàn) SPIDERS（要爬什么網(wǎng)站，怎么解析）和 ITEM PIPELINES（如何處理解析后的內(nèi)容）就可以了。其他的都是有框架幫你完成了。

1.2 Scrapy 數(shù)據(jù)流

我們?cè)僭敿?xì)看下組件之間的數(shù)據(jù)流，會(huì)更清楚框架的內(nèi)部運(yùn)作。

1、SPIDERS 發(fā)爬蟲(chóng)請(qǐng)求給 ENGIINE， 告訴它任務(wù)來(lái)了
2、ENGIINE 將請(qǐng)求添加到 SCHEDULER 調(diào)度隊(duì)列里，說(shuō)任務(wù)就交給你了，給我安排好
3、SCHEDULER 看看手里的爬取請(qǐng)求很多，挑一個(gè)給 ENGIINE， 說(shuō)大哥幫忙轉(zhuǎn)發(fā)給下載 DOWNLOADER
4、ENGIINE：好的， DOWNLOADER 你的任務(wù)來(lái)了
5、DOWNLOADER：開(kāi)始下載了，下載好了。任務(wù)結(jié)果交給 ENGIINE

6、ENGIINE 將結(jié)果給 SPIDERS，你的一個(gè)請(qǐng)求下載好了，快去解析吧

7、SPIDERS：好的，解析產(chǎn)生了結(jié)果字段。又給 SPIDERS 轉(zhuǎn)發(fā)給 ITEM PIPELINES

8、ITEM PIPELINES：接收到字段內(nèi)容，保存起來(lái)。

第 1 步到第 8 步，一個(gè)請(qǐng)求終于完成了。是不是覺(jué)得很多余？ENGIINE 夾在中間當(dāng)傳話筒，能不能直接跳過(guò)？可以考慮跳過(guò)了會(huì)怎么樣。

這里分析一下

• SCHEDULER 的作用：任務(wù)調(diào)度， 控制任務(wù)的并發(fā)，防止機(jī)器處理不過(guò)來(lái)
• ENGIINE：就是基于 Twisted 框架, 當(dāng)事件來(lái)（比如轉(zhuǎn)發(fā)請(qǐng)求）的時(shí)候，通過(guò)回調(diào)的方式來(lái)執(zhí)行對(duì)應(yīng)的事件。ENGIINE 讓所有操作變的統(tǒng)一，都是按照事件的方式來(lái)組織其他組件， 其他組件以低耦合的方式運(yùn)作；對(duì)于一種框架來(lái)說(shuō)，無(wú)疑是必備的。

二、基礎(chǔ)：XPath

寫(xiě)爬蟲(chóng)最重要的是解析網(wǎng)頁(yè)的內(nèi)容，這個(gè)部分就介紹下通過(guò) XPath 來(lái)解析網(wǎng)頁(yè)，提取內(nèi)容。

2.1 HTML 節(jié)點(diǎn)和屬性

2.2 解析語(yǔ)法

• a / b：‘/’ 在  xpath 里表示層級(jí)關(guān)系，左邊的 a 是父節(jié)點(diǎn)，右邊的 b 是子節(jié)點(diǎn)
• a // b：表示 a 下所有 b，直接或者間接的
• [@]：選擇具有某個(gè)屬性的節(jié)點(diǎn)
• //div[@classs], //a[@x]：選擇具有 class 屬性的 div 節(jié)點(diǎn)、選擇具有 x屬性的 a 節(jié)點(diǎn)
• //div[@class="container"]：選擇具有 class 屬性的值為 container 的  div 節(jié)點(diǎn)
• //a[contains(@id, "abc")]：選擇 id 屬性里有 abc 的 a 標(biāo)簽

一個(gè)例子

response.xpath('//div[@class="taglist"]/ul//li//a//img/@data-original').get_all()
# 獲取所有class屬性（css）為taglist的div， 下一個(gè)層ul下的所有l(wèi)i下所有a下所有img標(biāo)簽下data-original屬性

# data-original這里放的是圖片的url地址

三、安裝部署

Scrapy 是用純 Python 編寫(xiě)的，它依賴于幾個(gè)關(guān)鍵的 Python 包（以及其他包）：

• lxml：一個(gè)高效的 XML 和 HTML 解析器
• parsel：一個(gè)寫(xiě)在 lxml 上面的 html/xml 數(shù)據(jù)提取庫(kù)
• w3lib：用于處理 URL 和網(wǎng)頁(yè)編碼的多用途幫助程序
• twisted：異步網(wǎng)絡(luò)框架
• cryptography 和 pyOpenSSL：處理各種網(wǎng)絡(luò)級(jí)安全需求

# 安裝
pip install scrapy

四、創(chuàng)建爬蟲(chóng)項(xiàng)目

scrapy startproject sexy

# 創(chuàng)建一個(gè)后的項(xiàng)目目錄
# sexy
# │  scrapy.cfg
# │
# └─sexy
#     │  items.py
#     │  middlewares.py
#     │  pipelines.py
#     │  settings.py
#     │  __init__.py
#     │
#     ├─spiders
#     │  │  __init__.py
#     │  │
#     │  └─__pycache__
#     └─__pycache__

# 執(zhí)行 需要到scrapy.cfg同級(jí)別的目錄執(zhí)行
scrapy crawl sexy

從上可知，我們要寫(xiě)的是 spiders 里的具體的 spider 類和 items.py 和 pipelines.py（對(duì)應(yīng)的 ITEM PIPELINES）

五、開(kāi)始 Scrapy 爬蟲(chóng)

5.1 簡(jiǎn)單而強(qiáng)大的 spider

這里實(shí)現(xiàn)的功能是從圖片網(wǎng)站中下載圖片，保存在本地， url 做了脫敏。需要注意的點(diǎn)在注釋要標(biāo)明

• 類要繼承 scrapy.Spider
• 取一個(gè)唯一的 name
• 爬取的網(wǎng)站 url 加到 start_urls 列表里
• 重寫(xiě) parse 利用 xpath 解析 reponse 的內(nèi)容

可以看到 parse 實(shí)現(xiàn)的時(shí)候沒(méi)有轉(zhuǎn)發(fā)給 ITEM PIPELINES，直接處理了。這樣簡(jiǎn)單的可以這么處理，如果業(yè)務(wù)很復(fù)雜，建議交給 ITEM PIPELINES。

# 目錄結(jié)果為：spiders/sexy_spider.py
import scrapy
import os
import requests
import time


def download_from_url(url):
    response = requests.get(url, stream=True)
    if response.status_code == requests.codes.ok:
        return response.content
    else:
        print('%s-%s' % (url, response.status_code))
        return None


class SexySpider(scrapy.Spider):
   # 如果有多個(gè)spider， name要唯一
    name = 'sexy'
    allowed_domains = ['uumdfdfnt.94demo.com']
    allowed_urls = ['http://uumdfdfnt.94demo.com/']

    # 需要爬取的網(wǎng)站url加到start_urls list里
    start_urls = ['http://uumdfdfnt.94demo.com/tag/dingziku/index.html']
    save_path = '/home/sexy/dingziku'

    def parse(self, response):
        # 解析網(wǎng)站，獲取圖片列表
        img_list = response.xpath('//div[@class="taglist"]/ul//li//a//img/@data-original').getall()
        time.sleep(1)

        # 處理圖片， 具體業(yè)務(wù)操作， 可交給items， 見(jiàn)5.2 items例子
        for img_url in img_list:
            file_name = img_url.split('/')[-1]
            content = download_from_url(img_url)
            if content is not None:
                with open(os.path.join(self.save_path, file_name), 'wb') as fw:
                    fw.write(content)

        # 自動(dòng)下一頁(yè)（見(jiàn)5.3 自動(dòng)下一頁(yè)）
        next_page = response.xpath('//div[@class="page both"]/ul/a[text()="下一頁(yè)"]/@href').get()
        if next_page is not None:
            next_page = response.urljoin(next_page)
            yield scrapy.Request(next_page, callback=self.parse)

5.2 items 和 pipline 例子

這里說(shuō)明下兩個(gè)的作用

• items：提供一個(gè)字段存儲(chǔ)， spider 會(huì)將數(shù)據(jù)存在這里
• pipline：會(huì)從 items 取數(shù)據(jù)，進(jìn)行業(yè)務(wù)操作，比如 5.1 中的保存圖片；又比如存儲(chǔ)到數(shù)據(jù)庫(kù)中等

我們來(lái)改寫(xiě)下上面的例子

• items.py 其實(shí)就是定義字段 scrapy.Field()

import scrapy
class SexyItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    img_url = scrapy.Field()

• spiders/sexy_spider.py

import scrapy
import os
# 導(dǎo)入item
from ..items import SexyItem

class SexySpider(scrapy.Spider):
   # 如果有多個(gè)spider， name要唯一
    name = 'sexy'
    allowed_domains = ['uumdfdfnt.94demo.com']
    allowed_urls = ['http://uumdfdfnt.94demo.com/']

    # 需要爬取的網(wǎng)站url加到start_urls list里
    start_urls = ['http://uumdfdfnt.94demo.com/tag/dingziku/index.html']
    save_path = '/home/sexy/dingziku'

    def parse(self, response):
        # 解析網(wǎng)站，獲取圖片列表
        img_list = response.xpath('//div[@class="taglist"]/ul//li//a//img/@data-original').getall()
        time.sleep(1)

        # 處理圖片， 具體業(yè)務(wù)操作， 可交給yield items
        for img_url in img_list:
            items = SexyItem()
            items['img_url'] = img_url
            yield items

• pipelines.py

import os
import requests


def download_from_url(url):
    response = requests.get(url, stream=True)
    if response.status_code == requests.codes.ok:
        return response.content
    else:
        print('%s-%s' % (url, response.status_code))
        return None


class SexyPipeline(object):

    def __init__(self):
        self.save_path = '/tmp'

    def process_item(self, item, spider):
        if spider.name == 'sexy':
            # 取出item里內(nèi)容
            img_url = item['img_url']
            
            # 業(yè)務(wù)處理
            file_name = img_url.split('/')[-1]
            content = download_from_url(img_url)
            if content is not None:
                with open(os.path.join(self.save_path, file_name), 'wb') as fw:
                    fw.write(content)
        return item

• 重要的配置要開(kāi)啟在 settings.py 中開(kāi)啟 piplines 類，數(shù)值表示優(yōu)先級(jí)

ITEM_PIPELINES = {
   'sexy.pipelines.SexyPipeline': 300,
}

5.3 自動(dòng)下一頁(yè)

有時(shí)候我們不僅要爬取請(qǐng)求頁(yè)面中的內(nèi)容，還要遞歸式的爬取里面的超鏈接 url，特別是下一頁(yè)這種，解析內(nèi)容和當(dāng)前頁(yè)面相同的情況下。一種笨方法是手動(dòng)加到 start_urls 里。大家都是聰明人來(lái)試試這個(gè)。

• 先在頁(yè)面解析下下一頁(yè)的url
• scrapy.Request(next_page, callback=self.parse)  發(fā)起一個(gè)請(qǐng)求，并調(diào)用 parse 來(lái)解析，當(dāng)然你可以用其他的解析

完美了，完整例子見(jiàn) 5.1

next_page = response.xpath('//div[@class="page both"]/ul/a[text()="下一頁(yè)"]/@href').get()
if next_page is not None:
   next_page = response.urljoin(next_page)
   yield scrapy.Request(next_page, callback=self.parse)

5.4 中間件

• 下載中間件 中間件的作用是提供一些常用的鉤子 Hook 來(lái)增加額外的操作。中間件的操作是在 middlewares.py。可以看到主要是處理請(qǐng)求 process_request，響應(yīng) process_response 和異常 process_exceptio n三個(gè)鉤子函數(shù)。
• 處理請(qǐng)求 process_request: 傳給 DOWNLOADER 之前做的操作
• 響應(yīng) process_response：DOWNLOADER 給 ENGIINE 響應(yīng)之前的操作

這里舉一個(gè)添加模擬瀏覽器請(qǐng)求的方式，防止爬蟲(chóng)被封鎖。重寫(xiě) process_request

from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware
import random
agents = ['Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;',
              'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv,2.0.1) Gecko/20100101 Firefox/4.0.1',
              'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',
              'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
              'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)']

class RandomUserAgent(UserAgentMiddleware):
    def process_request(self, request, spider):
        ua = random.choice(agents)
        request.headers.setdefault('User-agent',ua,)

統(tǒng)一要在 settings.py 中開(kāi)啟下載中間件，數(shù)值表示優(yōu)先級(jí)

DOWNLOADER_MIDDLEWARES = {
    'sexy.middlewares.customUserAgent.RandomUserAgent': 20,
}

5.5 可用配置 settings.py

除了上面提供的 pipline 配置開(kāi)啟和中間件配置外，下面介紹幾個(gè)常用的配置

• 爬蟲(chóng)機(jī)器人規(guī)則：ROBOTSTXT_OBEY = False， 如果要爬取的網(wǎng)站有設(shè)置 robots.txt，最好設(shè)置為 False
• CONCURRENT_REQUESTS：并發(fā)請(qǐng)求
• DOWNLOAD_DELAY：下載延遲，可以適當(dāng)配置，避免把網(wǎng)站也爬掛了。

所有的配置詳見(jiàn)

https://doc.scrapy.org/en/latest/topics/settings.html

六、總結(jié)

相信從上面的介紹，你已經(jīng)可以動(dòng)手寫(xiě)一個(gè)你自己的爬蟲(chóng)了。總結(jié)如下：

• scrapy 是基于事件驅(qū)動(dòng)Twisted框架的爬蟲(chóng)框架。ENGIINE 是核心，負(fù)責(zé)串起其他組件
• 開(kāi)發(fā)只要編寫(xiě) spider 和 item pipline 和中間件、download 和 schedule 交給框架
• scrapy crawl 你的爬蟲(chóng) name，name 要唯一
• 爬取的 url 放在 start_urls，spider 會(huì)自動(dòng) Request 的，parse 來(lái)解析
• pipline 和中間件要記得在 settings 中開(kāi)啟
• 關(guān)注下 settings 的常用配置，需要時(shí)看下文檔

- END -

??「點(diǎn)擊關(guān)注」更多驚喜等待你的發(fā)現(xiàn)??