Python爬取并分析B站最熱排行榜,我發(fā)現(xiàn)了這些秘密

現(xiàn)在大家的生活中,已經(jīng)越來越離不開B站了,2020年的第一季度,B站月活躍用戶達(dá)到了1.72億,日活躍用戶也已經(jīng)突破了5000萬個用戶。源源不斷的流量讓B站的up主們也是粉絲數(shù)目不斷暴漲,百萬粉絲的up主比比皆是。
今天,小編就帶領(lǐng)大家來爬取并分析一下B站的最熱視頻排行榜,看看大家究竟都喜歡看什么樣子的視頻~~
01.榜單信息抓取
對于榜單的爬取,我們爬取了榜單的前一百名視頻的播放量,彈幕數(shù)量,以及視頻的點贊、投幣、收藏和up主的粉絲數(shù)目等信息。

對于排行榜的播放量、彈幕數(shù)量和視頻鏈接的爬蟲程序,如下圖所示:

由于網(wǎng)頁是靜態(tài)網(wǎng)頁,所以我們可以直接采用requests請求的方式,來獲取網(wǎng)頁源代碼,然后使用beautifulsoup來進(jìn)行網(wǎng)頁的解析,并抓取我們需要的信息。對于每個網(wǎng)頁的點贊、投幣、收藏和up主的粉絲數(shù)量。
可以采用我們之前介紹的web scraper來進(jìn)行抓取(牛逼的chrome插件,不用一行代碼,輕松爬取各大網(wǎng)站公開信息!(附視頻))。最后將兩部分的內(nèi)容進(jìn)行合并,得到最終的抓取信息。

對于數(shù)據(jù)中存在的字符串類型的數(shù)值,例如觀看數(shù)量為“122萬”,已經(jīng)經(jīng)過數(shù)據(jù)清洗轉(zhuǎn)化為int類型的數(shù)值。
02.數(shù)據(jù)分析
接下來,我們來看一下,最熱視頻排行榜前十位中,up主們的粉絲數(shù)量的分布情況,程序如下圖所示:

首先,我們對數(shù)據(jù)按照粉絲數(shù)量的數(shù)值進(jìn)行降序排序,然后將前十名的粉絲數(shù)量進(jìn)行按“萬”為單位進(jìn)行計數(shù),最后利用pyecharts中的Bar類來及進(jìn)行可視化的展示。結(jié)果如下。

可以看到,粉絲數(shù)量排名最高的up主是“羅翔說刑法”,粉絲數(shù)量超過了1000萬,妥妥的B站超級up主,也說明了在B站上小伙伴們不僅是為了娛樂,還可以在B站上進(jìn)行學(xué)習(xí)。大家看看前十的排行中,有沒有大家關(guān)注的up主呢?
03.可視化展示
接下來,我們對于排行榜中彈幕的數(shù)目進(jìn)行一個分布的可視化展示:

程序中 ,我們首先將彈幕的數(shù)量進(jìn)行一個分段的劃分,分別為0-5000,5000-10000一直到25000-30000,然后創(chuàng)建一個Pie類對象,進(jìn)行數(shù)據(jù)的可視化展示。

可以看到,視頻的彈幕數(shù)量中,有62%的是在0-5000的范圍內(nèi),視頻的個數(shù)隨著彈幕數(shù)量的增加而呈現(xiàn)快速減少的趨勢,彈幕數(shù)量在25000到30000之間的視頻只有一個。這也符合大家正常的觀看趨勢。
那對于視頻的點贊數(shù)目的視頻分布又是怎樣的呢?

上圖中橫坐標(biāo)對應(yīng)的是不同的點贊數(shù)量分布區(qū)間,利用0到2萬指的是,點贊數(shù)在0到2萬次,而縱坐標(biāo)對應(yīng)的就是視頻的數(shù)量;
從點贊數(shù)和視頻的分布數(shù)量來看,呈現(xiàn)了不規(guī)則的趨勢,點贊在2萬到4萬和12萬贊以上的視頻數(shù)目是最多的;
而點贊在0到2萬的視頻數(shù)目是最少的,看來大家對于視頻是不會吝嗇自己的“贊”;
另一方面,相比于發(fā)彈幕,點贊的操作更加的便捷,也也許就是大家更愿意點贊的原因吧。
04.詞云分析
最后,小編抓取了榜單排行第一位的視頻《眾所周知,貓是一種尊老愛幼的動物》的彈幕,并進(jìn)行了去重,來看一下彈幕中大家提及的關(guān)鍵詞都有哪些吧。

另外我們在B站也錄制了一些趣味的 Python實戰(zhàn)案例的視頻詳細(xì)解讀源碼的細(xì)節(jié)和大家記得來B站(菜鳥玩Python)找我們。https://space.bilibili.com/488689252
B站視頻:
80行Python輕松一鍵轉(zhuǎn)word
用Python畫微信最新的6個表情包
我用Python 分析了42000條冰雪奇緣2的短評
用Python帶你全世界旅游
用Python實現(xiàn)Instagram濾鏡,變成百變女神
用Python一鍵把漫畫轉(zhuǎn)pdf
用Python做一個20年編程語言的動態(tài)排行榜
花木蘭到底好看不,我爬取了幾萬條評論
近期九大熱門:
程序員GitHub,現(xiàn)已正式上線! 接下來我們將會在該公眾號上,為大家分享GitHub上優(yōu)質(zhì)的開源神器,程序員圈的趣事,堅持每天一篇原創(chuàng)文章的輸出,感興趣的小伙伴可以關(guān)注一下哈!
點這里,領(lǐng)取新手福利


