實(shí)戰(zhàn) | 爬蟲搶京東618優(yōu)惠券

? ?618不到一個(gè)月了，京東 618 活動(dòng)已經(jīng)開始了，不知道小伙伴們參與了沒。先搶一下京東的優(yōu)惠劵，也許 618 出現(xiàn)神劵呢？

一、抓包分析登錄

1.獲取二維碼圖片

這里我們使用二維碼登錄，通過瀏覽器的控制臺(tái)可以看出有個(gè)帶 show 的 url 地址可以得到二維碼登錄圖片

首先導(dǎo)入所有需要的包和一個(gè)解析 json 的方法

import requestsimport randomimport timeimport osimport json
from PIL import Image
def parse_json(str):    return json.loads(str[str.find('{'):str.rfind('}') + 1])

顯示京東登錄二維碼圖片

user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
session = requests.session()
def show_QRcode():    url = 'https://qr.m.jd.com/show'    params = {        'appid': 133,        'size': 147,        't': str(int(time.time() * 1000)),    }    headers = {        'User-Agent': user_agent,        'Referer': 'https://passport.jd.com/new/login.aspx',    }    resp = session.get(url=url, headers=headers, params=params)
    QRcode_path = 'QRcode.png'    with open(QRcode_path, 'wb') as f:        for chunk in resp.iter_content(chunk_size=1024):            f.write(chunk)
    QRcode = Image.open(QRcode_path)    QRcode.show()

示例結(jié)果

2.檢測(cè)二維碼是否掃碼

獲取二維碼圖片之后，在 Fiddler 抓包神器中一直刷新帶 check 的 url 地址，猜測(cè)這個(gè)也是和登錄有關(guān)的，應(yīng)該是檢測(cè)二維碼是否被掃碼。

檢測(cè)是否被掃碼抓包

def check_QRcode():    url = 'https://qr.m.jd.com/check'    params = {        'appid': '133',        'callback': 'jQuery{}'.format(random.randint(1000000, 9999999)),        'token': session.cookies.get('wlfstk_smdl'),        '_': str(int(time.time() * 1000)),    }    headers = {        'User-Agent': user_agent,        'Referer': 'https://passport.jd.com/new/login.aspx?ReturnUrl=https%3A%2F%2Fwww.jd.com%2F',    }    resp = session.get(url=url, headers=headers, params=params)    resp_json = parse_json(resp.text)
    if 'ticket' in resp_json:        print(resp_json)        return resp_json['ticket']    else:        print(resp_json['msg'])        print('請(qǐng)刷新京東登錄二維碼！')        os._exit(0)

示例結(jié)果

{'code': 200, 'ticket': 'AAEAIPL-bkU4RNrUw7YaLqYZhjWKqvP23PtkY1XTD2Cv2a52'}

3.驗(yàn)證二維碼

在檢測(cè)二維碼是否被掃碼之后，在 Fiddler 抓包神器中出現(xiàn)有一個(gè)帶 qrCodeTicketValidation 的 url 地址，需要傳遞一個(gè) t 參數(shù)，這個(gè)參數(shù)正好是 https://qr.m.jd.com/check 的返回值

驗(yàn)證二維碼抓包

def validation_QRcode(ticket):    url = 'https://passport.jd.com/uc/qrCodeTicketValidation'    headers = {        'User-Agent': user_agent,        'Referer': 'https://passport.jd.com/new/login.aspx?ReturnUrl=https%3A%2F%2Fwww.jd.com%2F',    }    params={        't': ticket    }    resp = session.get(url=url, headers=headers, params=params)    print(resp.text)

示例結(jié)果

{"returnCode":0,"url":"https://www.jd.com/"}

到這里京東二維碼已經(jīng)登錄成功了

二、領(lǐng)取優(yōu)惠券

可以看到這個(gè) url 的參數(shù)有 page，pageSize，不用猜都知道這是刷新的優(yōu)惠券列表，抓它

def coupon_list():    url = 'https://a.jd.com/indexAjax/getCouponListByCatalogId.html'    headers = {        'User-Agent': user_agent,        'Referer': 'https://a.jd.com/?cateId=118',    }    couponList = []    for i in range(1, 20):        params = {            'callback': 'jQuery{}'.format(random.randint(1000000, 9999999)),            'catalogId': '118',            'page': str(i),            'pageSize': '9',            '_': str(int(time.time() * 1000)),        }        try:            resp = session.get(url=url, params=params, headers=headers)            json = parse_json(resp.text)            couponList.extend(json['couponList'])            if json['totalNum'] == 1:                continue            else:                break        except Exception:            print('出錯(cuò)了!')    return couponList

示例結(jié)果就不寫了，返回的 json 串太長(zhǎng)了

最后一步領(lǐng)取優(yōu)惠劵，在瀏覽器控制臺(tái)中 url 地址上有一個(gè) key，這個(gè) key 存在與優(yōu)惠劵列表的返回值中

最后一步，領(lǐng)取優(yōu)惠券

def get_coupon(coupon_list):    url = 'https://a.jd.com/indexAjax/getCoupon.html'    headers = {        'User-Agent': user_agent,        'Referer': 'https://a.jd.com/?cateId=118',    }    for coupon in coupon_list:        params = {            'callback': 'jQuery{}'.format(random.randint(1000000, 9999999)),            'key': coupon['key'],            'type': '1',            '_': str(int(time.time() * 1000)),        }        time.sleep(1)        resp = session.get(url=url, params=params, headers=headers)        print(resp.text)

示例結(jié)果

jQuery1912666({"code":"15","success":false,"message":"您今天已經(jīng)參加過此活動(dòng)，別太貪心喲，明天再來~"})jQuery3381540({"code":"15","success":false,"message":"您今天已經(jīng)參加過此活動(dòng)，別太貪心喲，明天再來~"})jQuery6247320({"code":"16","success":false,"message":"本時(shí)段優(yōu)惠券已搶完，請(qǐng)14:00再來吧！"})jQuery5888701({"code":"15","success":false,"message":"您今天已經(jīng)參加過此活動(dòng)，別太貪心喲，明天再來~"})jQuery5048959({"code":"14","success":false,"message":"您已經(jīng)參加過此活動(dòng)，別太貪心喲，下次再來~"})jQuery8608381({"code":"14","success":false,"message":"您已經(jīng)參加過此活動(dòng)，別太貪心喲，下次再來~"})jQuery2539212({"code":"15","success":false,"message":"您今天已經(jīng)參加過此活動(dòng)，別太貪心喲，明天再來~"})jQuery6439595({"code":"999","success":true,"message":"領(lǐng)券成功"})jQuery2972325({"code":"15","success":false,"message":"您今天已經(jīng)參加過此活動(dòng)，別太貪心喲，明天再來~"})jQuery1697862({"code":"15","success":false,"message":"您今天已經(jīng)參加過此活動(dòng)，別太貪心喲，明天再來~"})jQuery1905738({"code":"15","success":false,"message":"您今天已經(jīng)參加過此活動(dòng)，別太貪心喲，明天再來~"})jQuery7639432({"code":"15","success":false,"message":"您今天已經(jīng)參加過此活動(dòng)，別太貪心喲，明天再來~"})jQuery8239706({"code":"15","success":false,"message":"您今天已經(jīng)參加過此活動(dòng)，別太貪心喲，明天再來~"})jQuery1221489({"code":"15","success":false,"message":"您今天已經(jīng)參加過此活動(dòng)，別太貪心喲，明天再來~"})

三、總結(jié)

京東PC版抓取優(yōu)惠券到這里就結(jié)束了，代碼還有不完善的地方，比如每次都要掃碼登錄，沒有保存 cookies 自動(dòng)登錄京東等待。小伙伴們可以根據(jù)自身需求更改代碼，造出適合自己的輪子。