Python爬蟲(chóng)教程-爬取貓眼電影

import requestsfrom fake_useragent import UserAgentimport jsonimport pymongo
#保存到數(shù)據(jù)庫(kù)clien=pymongo.MongoClient(host='填寫(xiě)數(shù)據(jù)庫(kù)IP')db=clien.The_cat_s_eye_essaycoll=db.eye_essay
#創(chuàng)建一個(gè)隨機(jī)生成user-aengt的對(duì)象ua=UserAgent()
#提取我們要的短評(píng)def parse_json(json):    if json:        items=json.get('cmts')        i=0        for item in items:            data={                'ID':item.get('nickName'),                '短評(píng)':item.get('content'),                '評(píng)分':item.get('score'),                '用戶地點(diǎn)':item.get('cityName'),                '評(píng)論時(shí)間':item.get('startTime'),                '回復(fù)數(shù)':item.get('reply'),                '性別':item.get('gender')            }            #coll.insert_one(data)      print(data)



def Crawl_JSON():    ua = UserAgent()    headers={        'User-Agent':ua.random,        'Host':'m.maoyan.com',        'Referer':'http://m.maoyan.com/movie/1217236/comments?_v_=yes'    }
    #貓眼電影短評(píng)接口    #因?yàn)樨堁鄣臄?shù)據(jù)是AJAX類型的 里面的offset是改變的 第一次是0 第二次15 第三次是30 以此類推  這個(gè)page 相當(dāng)于100/15然后循環(huán)    #可以自信觀察貓眼AJAX數(shù)據(jù)請(qǐng)求參數(shù) 就會(huì)知道了    page=100    u=0    for i in range(page):        try:            offset=u            startTime = '2018-10-11'            comment_api = 'http://m.maoyan.com/mmdb/comments/movie/1217236.json?_v_=yes&offset={0}&startTime={1}%2021%3A09%3A31'.format(offset,startTime)            #發(fā)送get請(qǐng)求            response_coment=requests.get(url=comment_api,headers=headers)            json_comment=response_coment.text            json_comments=json.loads(json_comment)            parse_json(json_comments)            u+=15        except Exception as e:            print('出現(xiàn)錯(cuò)誤:',e.args)


parse_json(Crawl_JSON())