測試環(huán)境

一、命令行運(yùn)行爬蟲

1、編寫爬蟲文件 baidu.py

2、運(yùn)行爬蟲（2種方式）

二、文件中運(yùn)行爬蟲

1、cmdline方式運(yùn)行爬蟲

2、CrawlerProcess方式運(yùn)行爬蟲

3、通過CrawlerRunner 運(yùn)行爬蟲

三、文件中運(yùn)行多個爬蟲

項(xiàng)目中新建一個爬蟲 SinaSpider

1、cmdline方式不可以運(yùn)行多個爬蟲

如果將兩個語句放在一起，第一個語句執(zhí)行完后程序就退出了，執(zhí)行到不到第二句

不過有了以下兩個方法來替代，就更優(yōu)雅了

2、CrawlerProcess方式運(yùn)行多個爬蟲

備注：爬蟲項(xiàng)目文件為：

scrapy_demo/spiders/baidu.py

scrapy_demo/spiders/sina.py

此方式運(yùn)行，發(fā)現(xiàn)日志中中間件只啟動了一次，而且發(fā)送請求基本是同時(shí)的，說明這兩個爬蟲運(yùn)行不是獨(dú)立的，可能會相互干擾

3、通過CrawlerRunner 運(yùn)行多個爬蟲

此方式也只加載一次中間件，不過是逐個運(yùn)行的，會減少干擾，官方文檔也推薦使用此方法來運(yùn)行多個爬蟲

總結(jié)

cmdline.execute 運(yùn)行單個爬蟲文件的配置最簡單，一次配置，多次運(yùn)行

文章轉(zhuǎn)載：Python編程學(xué)習(xí)圈

（版權(quán)歸原作者所有，侵刪）

點(diǎn)擊下方“閱讀原文”查看更多