爬取了20W+條貓咪數(shù)據(jù)，awsl……

不知道是否有人和我一樣，每次看到可愛的貓咪表情包，總是會(huì)忍不住收藏。

身邊也有許多朋友都養(yǎng)了貓，看著他們整天在朋友圈發(fā)擼貓視頻，我十分心動(dòng)。于是找到了一個(gè)專門交易貓貓的網(wǎng)站：

貓咪交易網(wǎng)

www.maomijiaoyi.com

這個(gè)網(wǎng)站上可以查看各種貓貓的品種介紹和交易信息。

于是，我從上面爬取了 20W+ 條數(shù)據(jù)，以此來了解一下可愛的貓咪。

獲取數(shù)據(jù)后，我從以下維度進(jìn)行了探索性分析：

打開貓咪交易網(wǎng)，先爬取貓貓品種數(shù)據(jù)，打開頁面可以看到貓貓品種列表：

但只顯示了每種貓貓的品種名，參考價(jià)格，這些數(shù)據(jù)還不夠，所以點(diǎn)進(jìn)去，爬取更加詳細(xì)的數(shù)據(jù)。

品種名，參考價(jià)格，中文學(xué)名，基本信息，性格特點(diǎn)，生活習(xí)性，優(yōu)缺點(diǎn)，喂養(yǎng)方法等：

爬取的代碼不算難，但這次特意加了進(jìn)度條功能，可以顯示爬取進(jìn)度：

以上就是貓貓品種的數(shù)據(jù)來自哪里，接下來是獲取貓貓交易數(shù)據(jù)，進(jìn)入到買貓賣貓頁面：

滑到最底下，可以看到顯示有多少頁數(shù)據(jù)，共多少條，此時(shí)顯示的是 31W，使用多進(jìn)程爬取了 20W：

當(dāng)然，爬取的數(shù)據(jù)是進(jìn)入詳情頁后進(jìn)行爬取的，包含價(jià)格，標(biāo)題，在售只數(shù)，貓齡，預(yù)防等：

由于數(shù)據(jù)太多，所以選擇了分步爬取：先爬取每一頁中的所有貓貓?jiān)斍榻灰祖溄拥?url 保存進(jìn) csv，在讀取 csv 一次爬取每條交易數(shù)據(jù)，于是乎 20W 數(shù)據(jù)的來源就有了。

了解了品種后，想知道這些品種的貓貓?jiān)a(chǎn)地都是來自哪里?？戳讼聰?shù)據(jù)，除了橘貓是世界各地都有的，其他品種貓貓的主要分布如下圖：

加拿大、美國、英國、埃及、泰國、阿富汗是大多數(shù)貓貓品種們的原產(chǎn)地。

那貓貓品種的體型分布如何呢，我們一起來看看唄：

在所有品種中，大型的只有一個(gè)品種：布偶貓。其他品種都是中小型的類型。

貓貓們很多品種都很可愛，那大家一般都喜歡從什么角度來描述呢：

從顏色方面，藍(lán)色，黑色，紅色形容貓貓的次數(shù)最多；

性格方面，對(duì)人友善；

觀看角度方面從側(cè)面看，后面看最合適。

了解了品種之后，再一起來看看交易的數(shù)據(jù)吧。

首先來看看交易主要分布在哪些區(qū)域：

四川，重慶，廣東是貓貓交易最多的省份。

主要的交易品種：

橘貓最多（果然世界各地都有橘貓……），其次是咖啡貓，布偶貓，英短藍(lán)白貓。

要買貓當(dāng)然還得看看價(jià)格，對(duì)于每種品種的貓貓來說，買的時(shí)候有個(gè)平均價(jià)格參考，心中有個(gè)數(shù)才好把握：

緬因貓均價(jià)最高。不過我對(duì)它不是很了解，倒是覺得第2的布偶貓非?？蓯?。

這些貓貓一般貓齡是多大呢？

主要分布在 1-9 個(gè)月之間，都是剛出生未滿一歲的小貓咪，等待有緣人成為它們的主人鏟屎官。

那在這些數(shù)據(jù)中，影響貓貓價(jià)格的因素有哪些？

我先從瀏覽次數(shù)與價(jià)格進(jìn)行分析，瀏覽次數(shù)一定程度上反映了貓貓的熱度，所以繪制散點(diǎn)圖：

從結(jié)果上看瀏覽次數(shù)與價(jià)格并不存在明顯的相關(guān)性。

那時(shí)候跟貓貓年齡有關(guān)呢？通過箱型圖來查看一下：

可以看到年齡是影響價(jià)格的一個(gè)因素，1-9 個(gè)月的貓貓價(jià)格分布在 500-1700 之間，而大于 9 個(gè)月的貓貓價(jià)格都在 1300 以上，且價(jià)格分布明顯不同。

在確定與年齡有關(guān)后，是否與預(yù)防針次數(shù)有關(guān)呢？

預(yù)防針次數(shù)也是與價(jià)格相關(guān)的，0針，1-2針，3針的價(jià)格區(qū)間分布明顯不同，多以預(yù)防針次數(shù)也是一個(gè)影響因素。

是否包郵，是否能視頻看貓貓，是否純種都是影響價(jià)格的因素，且三者存在共線性：

所以影響價(jià)格的因素貓貓價(jià)格的相關(guān)因素主要有年齡、預(yù)防次數(shù)、郵費(fèi)、是否純種、能否看視頻等。

數(shù)據(jù)及源碼