Scrapy-Python網(wǎng)站爬蟲框架庫

scrapy

Scrapy：Python的爬蟲框架

實例Demo

抓取：汽車之家、瓜子、鏈家 等數(shù)據(jù)信息

版本+環(huán)境庫

Python2.7 + Scrapy1.12

初窺Scrapy Scrapy是一個為了爬取網(wǎng)站數(shù)據(jù)，提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架。 可以應(yīng)用在包括數(shù)據(jù)挖掘，信息處理或存儲歷史數(shù)據(jù)等一系列的程序中。

應(yīng)用

生成帶 json的數(shù)據(jù)文件 $ scrapy crawl car -o Trunks.json

直接執(zhí)行 $ scrapy crawl car

查看多少爬蟲 $ scrapy list

其最初是為了 網(wǎng)絡(luò)抓取 所設(shè)計的， 也可以應(yīng)用在獲取API所返回的數(shù)據(jù)(例如 Amazon Associates Web Services ) 或者通用的網(wǎng)絡(luò)爬蟲。

網(wǎng)絡(luò)爬蟲，是在網(wǎng)上進行數(shù)據(jù)抓取的程序，使用它能夠抓取特定網(wǎng)頁的HTML數(shù)據(jù)。雖然我們利用一些庫開發(fā)一個爬蟲程序，但是使用框架可以大大提高效率，縮短開發(fā)時間。Scrapy是一個使用Python編寫的，輕量級的，簡單輕巧，并且使用起來非常的方便。

Scrapy主要包括了以下組件：

引擎，用來處理整個系統(tǒng)的數(shù)據(jù)流處理，觸發(fā)事務(wù)。 調(diào)度器，用來接受引擎發(fā)過來的請求，壓入隊列中，并在引擎再次請求的時候返回。 下載器，用于下載網(wǎng)頁內(nèi)容，并將網(wǎng)頁內(nèi)容返回給蜘蛛。 蜘蛛，蜘蛛是主要干活的，用它來制訂特定域名或網(wǎng)頁的解析規(guī)則。 項目管道，負(fù)責(zé)處理有蜘蛛從網(wǎng)頁中抽取的項目，他的主要任務(wù)是清晰、驗證和存儲數(shù)據(jù)。當(dāng)頁面被蜘蛛解析后，將被發(fā)送到項目管道，并經(jīng)過幾個特定的次序處理數(shù)據(jù)。 下載器中間件，位于Scrapy引擎和下載器之間的鉤子框架，主要是處理Scrapy引擎與下載器之間的請求及響應(yīng)。 蜘蛛中間件，介于Scrapy引擎和蜘蛛之間的鉤子框架，主要工作是處理蜘蛛的響應(yīng)輸入和請求輸出。 調(diào)度中間件，介于Scrapy引擎和調(diào)度之間的中間件，從Scrapy引擎發(fā)送到調(diào)度的請求和響應(yīng)。 使用Scrapy可以很方便的完成網(wǎng)上數(shù)據(jù)的采集工作，它為我們完成了大量的工作，而不需要自己費大力氣去開發(fā)。