詳解4種類型的爬蟲技術(shù)

import urllib.request
    # 爬蟲專用的包urllib，不同版本的Python需要下載不同的爬蟲專用包
import re
    # 正則用來規(guī)律爬取
keyname=""
    # 想要爬取的內(nèi)容
key=urllib.request.quote(keyname)
    # 需要將你輸入的keyname解碼，從而讓計算機讀懂
for i in range(0,5):   # (0,5)數(shù)字可以自己設(shè)置，是淘寶某產(chǎn)品的頁數(shù)
    url="https://s.taobao.com/search?q="+key+"&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20180815&ie=utf8&bcoffset=0&ntoffset=6&p4ppushleft=1%2C48&s="+str(i*44)
# url后面加上你想爬取的網(wǎng)站名，然后你需要多開幾個類似的網(wǎng)站以找到其規(guī)則
# data是你爬取到的網(wǎng)站所有的內(nèi)容要解碼要讀取內(nèi)容
    pat='"pic_url":"http://(.*?)"'
# pat使用正則表達式從網(wǎng)頁爬取圖片
# 將你爬取到的內(nèi)容放在一個列表里面
    print(picturelist)
    # 可以不打印，也可以打印下來看看
    for j in range(0,len(picturelist)):
        picture=picturelist[j]
        pictureurl="http://"+picture
        # 將列表里的內(nèi)容遍歷出來，并加上http://轉(zhuǎn)到高清圖片
        file="E:/pycharm/vscode文件/圖片/"+str(i)+str(j)+".jpg"
        # 再把圖片逐張編號，不然重復(fù)的名字將會被覆蓋掉
        urllib.request.urlretrieve(pictureurl,filename=file)
        # 最后保存到文件夾

'''
爬取京東商品信息：
    請求url：https://www.jd.com/
    提取商品信息：
        1.商品詳情頁
        2.商品名稱
        3.商品價格
        4.評價人數(shù)
        5.商品商家
'''
from selenium import webdriver    # 引入selenium中的webdriver
from selenium.webdriver.common.keys import Keys
import time

def get_good(driver):
    try:

        # 通過JS控制滾輪滑動獲取所有商品信息
        js_code = '''
            window.scrollTo(0,5000);
        '''
        driver.execute_script(js_code)  # 執(zhí)行js代碼

        # 等待數(shù)據(jù)加載
        time.sleep(2)

        # 查找所有商品div
        # good_div = driver.find_element_by_id('J_goodsList')
        good_list = driver.find_elements_by_class_name('gl-item')
        n = 1
        for good in good_list:
            # 根據(jù)屬性選擇器查找
            # 商品鏈接
            good_url = good.find_element_by_css_selector(
                '.p-img a').get_attribute('href')

            # 商品名稱
            good_name = good.find_element_by_css_selector(
                '.p-name em').text.replace("\n", "--")

            # 商品價格
            good_price = good.find_element_by_class_name(
                'p-price').text.replace("\n", ":")

            # 評價人數(shù)
            good_commit = good.find_element_by_class_name(
                'p-commit').text.replace("\n", " ")

            good_content = f'''
                        商品鏈接: {good_url}
                        商品名稱: {good_name}
                        商品價格: {good_price}
                        評價人數(shù): {good_commit}
                        \n
                        '''
            print(good_content)
            with open('jd.txt', 'a', encoding='utf-8') as f:
                f.write(good_content)

        next_tag = driver.find_element_by_class_name('pn-next')
        next_tag.click()

        time.sleep(2)

        # 遞歸調(diào)用函數(shù)
        get_good(driver)

        time.sleep(10)

    finally:
        driver.close()


if __name__ == '__main__':

    good_name = input('請輸入爬取商品信息:').strip()

    driver = webdriver.Chrome()
    driver.implicitly_wait(10)
    # 往京東主頁發(fā)送請求
    driver.get('https://www.jd.com/')

    # 輸入商品名稱，并回車搜索
    input_tag = driver.find_element_by_id('key')
    input_tag.send_keys(good_name)
    input_tag.send_keys(Keys.ENTER)
    time.sleep(2)

    get_good(driver)

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from redis import Redis
from incrementPro.items import IncrementproItem
class MovieSpider(CrawlSpider):
    name = 'movie'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['http://www.4567tv.tv/frim/index7-11.html']
    rules = (
        Rule(LinkExtractor(allow=r'/frim/index7-\d+\.html'), callback='parse_item', follow=True),
    )
    # 創(chuàng)建Redis鏈接對象
    conn = Redis(host='127.0.0.1', port=6379)
    def parse_item(self, response):
        li_list = response.xpath('//li[@class="p1 m1"]')
        for li in li_list:
            # 獲取詳情頁的url
            detail_url = 'http://www.4567tv.tv' + li.xpath('./a/@href').extract_first()
            # 將詳情頁的url存入Redis的set中
            ex = self.conn.sadd('urls', detail_url)
            if ex == 1:
                print('該url沒有被爬取過，可以進行數(shù)據(jù)的爬取')
                yield scrapy.Request(url=detail_url, callback=self.parst_detail)
            else:
                print('數(shù)據(jù)還沒有更新，暫無新數(shù)據(jù)可爬取！')

    # 解析詳情頁中的電影名稱和類型，進行持久化存儲
    def parst_detail(self, response):
        item = IncrementproItem()
        item['name'] = response.xpath('//dt[@class="name"]/text()').extract_first()
        item['kind'] = response.xpath('//div[@class="ct-c"]/dl/dt[4]//text()').extract()
        item['kind'] = ''.join(item['kind'])
        yield it

from redis import Redis
class IncrementproPipeline(object):
    conn = None
    def open_spider(self,spider):
        self.conn = Redis(host='127.0.0.1',port=6379)
    def process_item(self, item, spider):
        dic = {
            'name':item['name'],
            'kind':item['kind']
            }
        print(dic)
        self.conn.push('movieData',dic)    
        # 如果push不進去，那么dic變成str(dic)或者改變redis版本   
        pip install -U redis==2.10.6
        return item