用Python分析《令人心動(dòng)的offer2》的13萬(wàn)條彈幕，網(wǎng)友們都在吐槽什么？
前言
大家好，我是kuls。
今天推薦給大家一篇文章！
綜藝，是我們勞累了一天的放松方式，也是我們飯后的談資?？粗约合矚g的綜藝，時(shí)光足夠美。而《令人心動(dòng)的offer》，就是一個(gè)不錯(cuò)的綜藝選擇。
《令人心動(dòng)的offer》目前為止已經(jīng)播出了兩季，第一季在豆瓣為8.3分，共有5萬(wàn)余人評(píng)分，第二季目前評(píng)分低于第一季，評(píng)分僅7.1分。
本文通過(guò)爬取《令人心動(dòng)的offer》第二季13萬(wàn)+彈幕，進(jìn)行可視化分析和情感分析，完整代碼后臺(tái)回復(fù)「offer」即可免費(fèi)獲取。
數(shù)據(jù)獲取
《令人心動(dòng)的offer》第二季在騰訊視頻獨(dú)家播出，目前已播出四期（含面試篇），本文采取分集爬取。以下以爬取面試篇彈幕為例，并給出完整代碼：
#-*- coding = uft-8 -*-
#@Time : 2020/11/30 21:35
#@Author : 公眾號(hào) 菜J學(xué)Python
#@File : tengxun_danmu.py
import requests
import json
import time
import pandas as pd
target_id = "6130942571%26" #面試篇的target_id
vid = "%3Dt0034o74jpr" #面試篇的vid
df = pd.DataFrame()
for page in range(15, 3214, 30): #視頻時(shí)長(zhǎng)共3214秒
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}
url = 'https://mfm.video.qq.com/danmu?otype=json×tamp={0}&target_id={1}vid{2}&count=80'.format(page,target_id,vid)
print("正在提取第" + str(page) + "頁(yè)")
html = requests.get(url,headers = headers)
bs = json.loads(html.text,strict = False) #strict參數(shù)解決部分內(nèi)容json格式解析報(bào)錯(cuò)
time.sleep(1)
#遍歷獲取目標(biāo)字段
for i in bs['comments']:
content = i['content'] #彈幕
upcount = i['upcount'] #點(diǎn)贊數(shù)
user_degree =i['uservip_degree'] #會(huì)員等級(jí)
timepoint = i['timepoint'] #發(fā)布時(shí)間
comment_id = i['commentid'] #彈幕id
cache = pd.DataFrame({'彈幕':[content],'會(huì)員等級(jí)':[user_degree],'發(fā)布時(shí)間':[timepoint],'彈幕點(diǎn)贊':[upcount],'彈幕id':[comment_id]})
df = pd.concat([df,cache])
df.to_csv('面試篇.csv',encoding = 'utf-8')
分別爬取完成后，將四個(gè)彈幕csv文件放入一個(gè)文件夾中。
打開(kāi)面試篇csv文件，預(yù)覽如下：
數(shù)據(jù)清洗
合并彈幕數(shù)據(jù)
首先，將四個(gè)彈幕csv文件進(jìn)行數(shù)據(jù)合并，采用concat方法。
import pandas as pd
import numpy as np
df1 = pd.read_csv("/菜J學(xué)Python/彈幕/騰訊/令人心動(dòng)的offer/面試篇.csv")
df1["期數(shù)"] = "面試篇"
df2 = pd.read_csv("/菜J學(xué)Python/彈幕/騰訊/令人心動(dòng)的offer/第1期.csv")
df2["期數(shù)"] = "第1期"
df3 = pd.read_csv("/菜J學(xué)Python/彈幕/騰訊/令人心動(dòng)的offer/第2期.csv")
df3["期數(shù)"] = "第2期"
df4 = pd.read_csv("/菜J學(xué)Python/彈幕/騰訊/令人心動(dòng)的offer/第3期.csv")
df4["期數(shù)"] = "第3期"
df = pd.concat([df1,df2,df3,df4])
預(yù)覽下合并后的數(shù)據(jù)：
df.sample(10)
查看數(shù)據(jù)信息
df.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 133627 entries, 0 to 34923
Data columns (total 8 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 Unnamed: 0 133627 non-null int64
1 用戶(hù)名 49040 non-null object
2 內(nèi)容 133626 non-null object
3 會(huì)員等級(jí) 133627 non-null int64
4 評(píng)論時(shí)間點(diǎn) 133627 non-null int64
5 評(píng)論點(diǎn)贊 133627 non-null int64
6 評(píng)論id 133627 non-null int64
7 期數(shù) 133627 non-null object
dtypes: int64(5), object(3)
memory usage: 9.2+ MB
發(fā)現(xiàn)數(shù)據(jù)存在以下幾個(gè)問(wèn)題：1.字段名稱(chēng)可調(diào)整（個(gè)人潔癖）2.Unnamed字段多余 3.用戶(hù)名字段有缺失值，可填充 4.內(nèi)容和評(píng)論時(shí)間點(diǎn)字段類(lèi)型需要調(diào)整 5.評(píng)論id對(duì)分析無(wú)意義，可刪除
重命名字段
df = df.rename(columns={'用戶(hù)名':'用戶(hù)昵稱(chēng)','內(nèi)容':'彈幕內(nèi)容','評(píng)論時(shí)間點(diǎn)':'發(fā)送時(shí)間','評(píng)論點(diǎn)贊':'彈幕點(diǎn)贊','期數(shù)':'所屬期數(shù)'})
過(guò)濾字段
#選擇需要分析的字段
df = df[["用戶(hù)昵稱(chēng)","彈幕內(nèi)容","會(huì)員等級(jí)","發(fā)送時(shí)間","彈幕點(diǎn)贊","所屬期數(shù)"]]
缺失值處理
df["用戶(hù)昵稱(chēng)"] = df["用戶(hù)昵稱(chēng)"].fillna("無(wú)名氏")
發(fā)送時(shí)間處理
發(fā)送時(shí)間字段是秒數(shù)，需要改成時(shí)間，這里自定義一個(gè)time_change函數(shù)進(jìn)行處理。
def time_change(seconds):
m, s = divmod(seconds, 60)
h, m = divmod(m, 60)
ss_time = "%d:%02d:%02d" % (h, m, s)
print(ss_time)
return ss_time
time_change(seconds=8888)
將time_change函數(shù)應(yīng)用于發(fā)送時(shí)間字段：
df["發(fā)送時(shí)間"] = df["發(fā)送時(shí)間"].apply(time_change)
設(shè)置為需要的時(shí)間格式：
df['發(fā)送時(shí)間'] = pd.to_datetime(df['發(fā)送時(shí)間'])
df['發(fā)送時(shí)間'] = df['發(fā)送時(shí)間'].apply(lambda x : x.strftime('%H:%M:%S'))
彈幕內(nèi)容處理
將object數(shù)據(jù)類(lèi)型更改為str：
df["彈幕內(nèi)容"] = df["彈幕內(nèi)容"].astype("str")
機(jī)械壓縮去重：
#定義機(jī)械壓縮函數(shù)
def yasuo(st):
for i in range(1,int(len(st)/2)+1):
for j in range(len(st)):
if st[j:j+i] == st[j+i:j+2*i]:
k = j + i
while st[k:k+i] == st[k+i:k+2*i] and k k = k + i
st = st[:j] + st[k:]
return st
yasuo(st="菜J學(xué)Python真的真的真的很菜很菜")
#調(diào)用機(jī)械壓縮函數(shù)
df["彈幕內(nèi)容"] = df["彈幕內(nèi)容"].apply(yasuo)
特殊字符過(guò)濾：
df['彈幕內(nèi)容'] = df['彈幕內(nèi)容'].str.extract(r"([\u4e00-\u9fa5]+)") #提取中文內(nèi)容
df = df.dropna() #純表情彈幕直接刪除
清洗后數(shù)據(jù)預(yù)覽如下：
數(shù)據(jù)分析
各期彈幕數(shù)量對(duì)比
《令人心動(dòng)的offer》第二季已播出四期（含面試篇），第1期：規(guī)則升級(jí)，實(shí)習(xí)生面臨高壓考核彈幕數(shù)量最多，達(dá)到42422個(gè)，面試篇：實(shí)習(xí)生面試遭靈魂拷問(wèn)彈幕數(shù)量最少，僅為17332個(gè)。
import pyecharts.options as opts
from pyecharts.charts import *
from pyecharts.globals import ThemeType
df7 = df["所屬期數(shù)"].value_counts()
print(df7.index.to_list())
print(df7.to_list())
c = (
Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK))
.add_xaxis(df7.index.to_list())
.add_yaxis("",df7.to_list())
.set_global_opts(title_opts=opts.TitleOpts(title="各期彈幕數(shù)量",subtitle="數(shù)據(jù)來(lái)源：騰訊視屏 \t制圖：菜J學(xué)Python",pos_left = 'left'),
xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=13)), #更改橫坐標(biāo)字體大小
yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=13)), #更改縱坐標(biāo)字體大小
)
.set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='top'))
)
c.render_notebook()
誰(shuí)是彈幕發(fā)射機(jī)
用戶(hù)昵稱(chēng)為想太多de貓幾期下來(lái)共發(fā)射彈幕227個(gè)，遙遙領(lǐng)先其他彈幕黨，名副其實(shí)的彈幕發(fā)射機(jī)。
df8 = df["用戶(hù)昵稱(chēng)"].value_counts()[1:11]
df8 = df8.sort_values(ascending=True)
df8 = df8.tail(10)
print(df8.index.to_list())
print(df8.to_list())
c = (
Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK))
.add_xaxis(df8.index.to_list())
.add_yaxis("",df8.to_list()).reversal_axis() #X軸與y軸調(diào)換順序
.set_global_opts(title_opts=opts.TitleOpts(title="彈幕發(fā)送數(shù)量TOP10",subtitle="數(shù)據(jù)來(lái)源：騰訊視頻 \t制圖：菜J學(xué)Python",pos_left = 'left'),
xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=13)), #更改橫坐標(biāo)字體大小
yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=13)), #更改縱坐標(biāo)字體大小
)
.set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
)
c.render_notebook()
隨機(jī)抽取想太多de貓彈幕信息，發(fā)現(xiàn)其對(duì)《令人心動(dòng)的offer》第二季愛(ài)的深沉。彈幕內(nèi)容透露出其觀(guān)看視頻還是相當(dāng)之認(rèn)真，幾乎每個(gè)彈幕都獲得了一定的點(diǎn)贊。
df[df["用戶(hù)昵稱(chēng)"]=="想太多de貓"].sample(10)
會(huì)員等級(jí)分布
在觀(guān)看《令人心動(dòng)的offer》第二季的觀(guān)眾中，高達(dá)74.31%的用戶(hù)和J哥一樣不是騰訊視頻的會(huì)員，占比第二的會(huì)員等級(jí)3占5.6%，共計(jì)7419人，占比第三的會(huì)員等級(jí)1占5.39%，共計(jì)7153人。
df2 = df["會(huì)員等級(jí)"].astype("str").value_counts()
print(df2)
df2 = df2.sort_values(ascending=False)
regions = df2.index.to_list()
values = df2.to_list()
c = (
Pie(init_opts=opts.InitOpts(theme=ThemeType.DARK))
.add("", list(zip(regions,values)))
.set_global_opts(legend_opts = opts.LegendOpts(is_show = False),title_opts=opts.TitleOpts(title="會(huì)員等級(jí)分布",subtitle="數(shù)據(jù)來(lái)源：騰訊視頻\t制圖：菜J學(xué)Python",pos_top="0.5%",pos_left = 'left'))
.set_series_opts(label_opts=opts.LabelOpts(formatter="等級(jí)占比:go7utgvlrp%",font_size=14))
)
c.render_notebook()
彈幕在討論些什么
通過(guò)對(duì)13+彈幕制作詞云圖，我們發(fā)現(xiàn)，彈幕中出現(xiàn)頻率較高的詞匯有「丁輝、律師、喜歡、加油、徐律、干飯、撒老師」等。丁輝作為8個(gè)實(shí)習(xí)生里本科學(xué)校最差、年齡最大的成員，從一開(kāi)始就被觀(guān)眾所熱議。徐律作為第1季的帶教導(dǎo)師，其雷厲風(fēng)行又知性溫柔的風(fēng)范，早已贏(yíng)得廣大觀(guān)眾的喜愛(ài)。干飯作為最近非常熱門(mén)的網(wǎng)絡(luò)詞匯，出現(xiàn)在熱播綜藝中也不足為奇。而撒老師作為這一季的搞笑擔(dān)當(dāng)和凡爾賽擔(dān)當(dāng)，也被廣大觀(guān)眾所熱議。
# 定義分詞函數(shù)
def get_cut_words(content_series):
# 讀入停用詞表
stop_words = []
with open("/菜J學(xué)Python/offer/stop_words.txt", 'r', encoding='utf-8') as f:
lines = f.readlines()
for line in lines:
stop_words.append(line.strip())
# 添加關(guān)鍵詞
my_words = ['撒老師', '范丞丞','第一季']
for i in my_words:
jieba.add_word(i)
# 自定義停用詞
my_stop_words = ['好像', '真的','感覺(jué)']
stop_words.extend(my_stop_words)
# 分詞
word_num = jieba.lcut(content_series.str.cat(sep='。'), cut_all=False)
# 條件篩選
word_num_selected = [i for i in word_num if i not in stop_words and len(i)>=2]
return word_num_selected
# 繪制詞云圖
text1 = get_cut_words(content_series=df['彈幕內(nèi)容'])
stylecloud.gen_stylecloud(text=' '.join(text1), max_words=100,
collocations=False,
font_path='字酷堂清楷體.ttf',
icon_name='fas fa-square',
size=653,
#palette='matplotlib.Inferno_9',
output_name='./offer.png')
Image(filename='./offer.png')
大家如何評(píng)論8個(gè)實(shí)習(xí)生
我們首先看下8位實(shí)習(xí)生的照片：
在所有彈幕中，丁輝被觀(guān)眾提及次數(shù)遠(yuǎn)超過(guò)另外7個(gè)實(shí)習(xí)生，共計(jì)9298次，其次是詹秋怡，被觀(guān)眾提及2455次，劉煜成被觀(guān)眾提及最少，僅有526次。
df8 = df["人物提及"].value_counts()[1:11]
print(df8.index.to_list())
print(df8.to_list())
c = (
Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK))
.add_xaxis(df8.index.to_list())
.add_yaxis("",df8.to_list())
.set_global_opts(title_opts=opts.TitleOpts(title="人物提及次數(shù)",subtitle="數(shù)據(jù)來(lái)源：騰訊視頻 \t制圖：菜J學(xué)Python",pos_left = 'left'),
xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=13)), #更改橫坐標(biāo)字體大小
yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=13)), #更改縱坐標(biāo)字體大小
)
.set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='top'))
)
c.render_notebook()
分別繪制8個(gè)實(shí)習(xí)生的彈幕詞云圖，我們發(fā)現(xiàn)，還是有很多觀(guān)眾認(rèn)可「丁輝」的，「加油、喜歡、看好、支持」等詞出現(xiàn)頻率較高；對(duì)于性格較為內(nèi)向的詹秋怡，觀(guān)眾也非常喜歡，從「漂亮、劉亦菲、好看」等高頻詞可看出，不少人喜歡她是基于顏值；作為來(lái)自頂級(jí)學(xué)府斯坦福的王驍來(lái)說(shuō)，觀(guān)眾呈現(xiàn)兩邊倒的局勢(shì)，有人說(shuō)「王驍好」，也有人認(rèn)為他是「凡爾賽」；朱一暄也一樣，有人覺(jué)得她很「可愛(ài)」，也有人「討厭」她；瞿澤林則被表?yè)P(yáng)「情商高、可愛(ài)」；李晉曄的「帥氣」被觀(guān)眾贊不絕口，甚至有很多人認(rèn)為他很像第1季的人氣實(shí)習(xí)生何運(yùn)晨；人大畢業(yè)的王穎飛也被觀(guān)眾夸贊「好看、漂亮」；高分過(guò)司考的劉煜成被觀(guān)眾夸贊「專(zhuān)業(yè)知識(shí)不錯(cuò)」，由于在第3期中被王驍搶話(huà)，受了委屈，觀(guān)眾紛紛表示「心疼」。
情感分析
通過(guò)運(yùn)用百度開(kāi)源NLP對(duì)彈幕內(nèi)容進(jìn)行情感分值計(jì)算，我們發(fā)現(xiàn)，《令人心動(dòng)的offer》第二季整體情感分值高于0.5，觀(guān)眾表現(xiàn)出較高的積極傾向。會(huì)員等級(jí)較高的觀(guān)眾越能堅(jiān)持觀(guān)看到最后，彈幕點(diǎn)贊量從視頻播放開(kāi)始呈增長(zhǎng)趨勢(shì)，在最后15分鐘時(shí)驟降。情感分值則表現(xiàn)為視頻播放首尾高，中間低。
import paddlehub as hub
#這里使用了百度開(kāi)源的成熟NLP模型來(lái)預(yù)測(cè)情感傾向
senta = hub.Module(name="senta_bilstm")
texts = df['彈幕內(nèi)容'].tolist()
input_data = {'text':texts}
res = senta.sentiment_classify(data=input_data)
df['情感分值'] = [x['positive_probs'] for x in res]
#重采樣至15分鐘
df.index = df['發(fā)送時(shí)間']
data = df.resample('15min').mean().reset_index()
#給數(shù)據(jù)表添加調(diào)色板
import seaborn as sns
color_map = sns.light_palette('orange', as_cmap=True) #light_palette調(diào)色板
data.style.background_gradient(color_map)
c = (
Line(init_opts=opts.InitOpts(theme=ThemeType.DARK))
.add_xaxis(data["發(fā)送時(shí)間"].to_list())
.add_yaxis('情感傾向', list(data["情感分值"].round(2)), is_smooth=True,is_connect_nones=True,areastyle_opts=opts.AreaStyleOpts(opacity=0.5))
.set_global_opts(title_opts=opts.TitleOpts(title="情感傾向",subtitle="數(shù)據(jù)來(lái)源：騰訊視頻 \t制圖：菜J學(xué)Python",pos_left = 'left'))
)
c.render_notebook()
戀習(xí)Python 關(guān)注戀習(xí)Python，Python都好練 好文章，我在看??