Python爬蟲之App爬蟲視頻下載的實(shí)現(xiàn)

前言

隨著手app的發(fā)展逐漸強(qiáng)大，我們手機(jī)應(yīng)用每天的生活也是非常的多。那我們?cè)趺粗浪臄?shù)據(jù)是怎么形成的，通過(guò)電腦端如何爬取。相信大家也有這樣的問(wèn)題。下面我將講解這些操作流程。

一、操作流程

首先我們要有

• fidder4

• 夜神模擬器

• pycharm

• python3.0或以上版本

?二、fidder4抓包

1.fidder配置

首先我們先下載fidder，
打開Fiddler，點(diǎn)擊Tools => Options 打開配置選項(xiàng)，切換到第二個(gè)標(biāo)簽頁(yè)HTTPS，先在這里打勾

然后就是點(diǎn)下面如圖所示的單選框，點(diǎn)擊Actions，運(yùn)行第一個(gè)Trust Root Certificate。后面會(huì)有一個(gè)框，記得點(diǎn)擊確定。

打開Fiddler，點(diǎn)擊Tools => Options… 打開配置選項(xiàng)，切換到第三個(gè)標(biāo)簽頁(yè)Connections，修改如圖所示的地方，端口號(hào)可任意修改，這里使用我自定的9999，請(qǐng)記住自己設(shè)置的端口號(hào)，后面有需要使用的地方。

2.模擬器配置

我們?yōu)槭裁词褂媚M器，因?yàn)橛捎贔idder抓包，要在局域網(wǎng)環(huán)境下，我們大部分電腦都是以寬帶連接，所以我這里就以模擬器講解抓包，后續(xù)我會(huì)更新一期fidder手機(jī)抓包。

這里們先打模擬器，設(shè)置模擬器的代理。我們先查看自己的本機(jī)IP，通過(guò)cmd命令輸入ipconfig即可查看本機(jī)的ip，我的本機(jī)IP是192.168.1.2

這里打開模擬器的設(shè)置，找到我們WLAN用點(diǎn)擊，我們看到我們的wifi,用鼠標(biāo)點(diǎn)擊時(shí)間長(zhǎng)一點(diǎn)，它會(huì)出現(xiàn)設(shè)置的，下面我用視頻給大家看一下

我們本機(jī)ip進(jìn)行代理哦

3.模擬器證書安裝

我們用模擬器打開瀏覽器，輸入我們本機(jī)ip加端口，就是 192.168.1.2:9999

點(diǎn)擊這個(gè)下載證書，下載完成后安裝證書，命名隨便命名。密碼自己要記入。
上述如果都做成功了，應(yīng)該就沒(méi)什么問(wèn)題了。

三、fidder4解析視頻網(wǎng)站

這是我們模擬器里的app，app名字我會(huì)在下面評(píng)論發(fā)出。

這里的所和上面的正好相對(duì)應(yīng)，這里相信我們大家都找到了，
我們可以把fidder抓包到的數(shù)據(jù)在這里，這個(gè)是我們的數(shù)據(jù)網(wǎng)址
https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=1
我們通過(guò)模擬器視頻往下滑，可以知道它是分頁(yè)的，那樣會(huì)有好多小姐姐視頻哦，
https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=2
這里就是第二頁(yè)的數(shù)據(jù)，這個(gè)時(shí)候就可以通過(guò)pycharm進(jìn)行解析了。

pycharm編寫app代碼

import?requests
import?json
def?Demo(page):
url='https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page={}'.format(page)
?
header={
'User-Agent':'XY0xDgIxDAS)wgtOthPHTn5AQUVFdXLOCRwSdEhX5PGQFmlHo6n22D)bw973lz13W2)XlZe8pKEpEEdBTgmU4ricT3kQENEI04ATJcbg2VsnEcvoVttmTXpq7r)sVToAdNLqmaxF1B6HFigkhXgO(f)rCw@@'
}
?
response?=?requests.get(url,headers=header,verify=False).json()
data=response['content']['list']?#由于網(wǎng)站是json數(shù)據(jù)我們可以通過(guò)json解析，然后在進(jìn)行數(shù)據(jù)的爬取
for?i?in?data:
title?=i['title']?#這里爬取的是視頻標(biāo)題
playurl=i['playurl']?#這里是爬取是的視頻的url
Video(title,playurl)
?
def?Video(title,playurl):
header?=?{
'User-Agent':?'XY0xDgIxDAS)wgtOthPHTn5AQUVFdXLOCRwSdEhX5PGQFmlHo6n22D)bw973lz13W2)XlZe8pKEpEEdBTgmU4ricT3kQENEI04ATJcbg2VsnEcvoVttmTXpq7r)sVToAdNLqmaxF1B6HFigkhXgO(f)rCw@@'
}
response?=?requests.get(playurl,headers=header,verify=False)
# 文件寫入異常機(jī)制
try:
#由于寫入可以會(huì)有點(diǎn)出錯(cuò)，我們要加一個(gè)異常處理機(jī)制，這樣可以提高我們的程序性能。
with?open('VIdeo/{}.mp4'.format(title),'ab')?as?f:
f.write(response.content)
except?Exception?as?e:
print(e)
?
for?i?in?range(1,11):
Demo(i)

總結(jié)

以上就是今天要講的內(nèi)容，本文簡(jiǎn)單的對(duì)fidder配置與模擬器的證書安裝，通過(guò)fidder監(jiān)視app傳輸?shù)臄?shù)據(jù)進(jìn)行解析，我們知道此網(wǎng)址有分頁(yè)功能 ，最后我們通過(guò)pycharm編寫程序，這些操作看似繁鎖，其實(shí)看懂了，就很簡(jiǎn)單。

1. 

2. 掃下方二維碼加老師微信

3. 或是搜索老師微信號(hào)：XTUOL1988【切記備注：學(xué)習(xí)Python】

4. 領(lǐng)取Python web開發(fā)，Python爬蟲，Python數(shù)據(jù)分析，人工智能等學(xué)習(xí)教程。帶你從零基礎(chǔ)系統(tǒng)性的學(xué)好Python！

7. 

   歡迎大家點(diǎn)贊，留言，轉(zhuǎn)發(fā)，轉(zhuǎn)載，感謝大家的相伴與支持

   萬(wàn)水千山總是情，點(diǎn)個(gè)【在看】行不行

8. *聲明：本文于網(wǎng)絡(luò)整理，版權(quán)歸原作者所有，如來(lái)源信息有誤或侵犯權(quán)益，請(qǐng)聯(lián)系我們刪除或授權(quán)事