教你一招另辟蹊徑抓取美團火鍋數(shù)據(jù)

點擊上方“IT共享之家”，進行關(guān)注

回復(fù)“資料”可獲贈Python學(xué)習(xí)福利

最近有個小伙伴在群里問美團數(shù)據(jù)怎么獲取，而且她只要火鍋數(shù)據(jù)，她在上海，只要求抓上海美團火鍋的數(shù)據(jù)，而且要求也不高，只要100條，想做個簡單的分析，相關(guān)的字段如下圖所示。

乍一看，這個問題還真的是蠻難的，畢竟美團也不是那么好抓，什么驗證碼，模擬登陸等一大堆拂面而來，嚇得小伙伴都倒地了。

通過F12查看，抓包，分析URL，找規(guī)律，等等操作。

不過白慌，今天小編給大家介紹一個小技巧，另辟蹊徑去搞定美團的數(shù)據(jù)，這里需要用到抓包工具Fiddler。講道理，之前我開始接觸網(wǎng)絡(luò)爬蟲的時候也沒有聽過這個東東，后來就慢慢知道了，而且它真的蠻實用的，建議大家都能學(xué)會用它。這個工具專門用于抓包，而且其安裝包也非常小，如下圖所示。

接下來，我們開始進行抓取信息。

1、在Fiddler的左側(cè)找到meituan網(wǎng)站的鏈接，如下圖所示。鏈接的左邊返回的response（響應(yīng)）的文件類型，可以看到是JSON文件，爾后雙擊這一行鏈接。

2、此時在右側(cè)會顯示下圖的界面，點擊黃色區(qū)域內(nèi)的那串英文“Responsebody is encoded. Click to decode.”意思是response是加密的，點擊此處進行解碼，對返回的網(wǎng)頁進行解碼。

3、此時會彈出下圖所示的界面，在WebView中可以看到返回的數(shù)據(jù)，與網(wǎng)頁中的內(nèi)容對應(yīng)一致。

4、不過美團網(wǎng)限制一頁最多顯示32條火鍋信息，如下圖所示。

5、如果我想獲取100條信息的話，那得前后找4頁，才能夠滿足要求。有沒有辦法讓其一次性多顯示一些數(shù)據(jù)呢？答案是可以的，操作方法如下。

在左側(cè)找到對應(yīng)的美團網(wǎng)鏈接，然后點擊右鍵一次選擇CopyàJustUrl，如下圖所示。

7、將得到的URL放到瀏覽器中去進行訪問，如下圖所示?？梢钥吹?/span>limit=32，即代表可以獲取到32條相關(guān)的火鍋信息，并且返回的內(nèi)容和Fiddler抓包工具返回的信息是一致的。

8、此時，我們直接在瀏覽器中將limit=32這個參數(shù)改為limit=100，也就是說將32更改為100，讓其一次性返回100條火鍋數(shù)據(jù)，天助我也，竟然可以一次性訪問到，如下圖所示。就這樣，輕輕松松的拿到了一百條數(shù)據(jù)。

9、接下來，可以將瀏覽器返回的數(shù)據(jù)進行Ctrl+A全部選中，放到一個本地文件中去，存為txt格式，在sublime中打開，如下圖所示。

10、其實乍一看覺得很亂，其實它就是一個JSON文件，剩下的工作就是對這個JSON文件做字符串的提取，寫個代碼，提取我們的目標信息，包括店門、星級、評論數(shù)、關(guān)鍵詞、地址、人均消費等，如下圖所示。

11、運行程序之后，我們會得到一個txt文件，列與列之間以制表符分開，如下圖所示。

12、在txt文件中看上去很是費勁，將其導(dǎo)入到Excel文件中去，就清晰多了，如下圖所示。接下來就可以很方便的對數(shù)據(jù)做分析什么的了。

13、至此，抓取美團火鍋數(shù)據(jù)的簡易方法就介紹到這里了，希望小伙伴們都可以學(xué)會，以后抓取類似的數(shù)據(jù)就不用找他人幫你寫程序啦~~

14、關(guān)于本文涉及的部分代碼，小編已經(jīng)上傳到github了，后臺回復(fù)【美團火鍋】四個字即可獲取。

看完本文有收獲？請轉(zhuǎn)發(fā)分享給更多的人

IT共享之家

入群請在微信后臺回復(fù)【入群】