《我們與惡的距離》是一部非常有深度的臺(tái)劇。演員的演技無(wú)可挑剔，劇情編排也很新穎，而且邏輯嚴(yán)謹(jǐn)，劇情環(huán)環(huán)相扣，不拖泥帶水。劇中出了很多火遍全網(wǎng)的臺(tái)詞，如“所以愛會(huì)消失，對(duì)不對(duì)？”，“我們都是好人。不知道為什么事情會(huì)變成這樣子，老天爺?shù)降滓覀儗W(xué)什么。”
該劇上映于2019年春，已經(jīng)兩年了，多次在朋友圈看到該劇的好評(píng)。記得我看了一小段，但因?yàn)槟嵌螘r(shí)間工作非常忙就被中斷了（另一個(gè)原因是我基本不看電視劇，我看的上一部電視是《瑯琊榜》，中間幾年一部沒看過）。 最近刷到B站知名up主在推薦這部劇，所以我在周末一口氣看完了（全劇共10集）。
對(duì)于劇中要探討的諸多問題，也許我們正在經(jīng)歷，也許我們未來(lái)會(huì)經(jīng)歷。但無(wú)論何時(shí)，假設(shè)身臨其境地面對(duì)，都需要足夠的勇氣。順著該劇每集開始的提醒，我建議對(duì)這部劇感興趣的人，一定要酌情觀看，尤其是年齡較低的朋友最好別看。
本文不會(huì)對(duì)劇中的內(nèi)容和觀點(diǎn)做深入的討論和評(píng)價(jià)，只分析豆瓣網(wǎng)友對(duì)這部劇的評(píng)論和感受。
一、爬取豆瓣劇評(píng)
打開豆瓣首頁(yè)，搜索劇名，進(jìn)入《我們與惡的距離》的詳情頁(yè)。
然后向下滾動(dòng)頁(yè)面，找到豆瓣短評(píng)。
點(diǎn)擊全部短評(píng)進(jìn)入評(píng)論詳情頁(yè)面，每一頁(yè)有20條評(píng)論。按F12，鼠標(biāo)前后翻頁(yè)抓取網(wǎng)頁(yè)請(qǐng)求信息。
根據(jù)網(wǎng)頁(yè)信息可以得到請(qǐng)求方式為GET，同時(shí)獲取到Request URL，Request Headers，Cookies。有了這些信息，就可以寫代碼爬取短評(píng)內(nèi)容了。
drama_code = 30181230
base_url = "https://movie.douban.com/subject/{}/comments".format(drama_code)
for i in range(25):
params = {'percent_type': '', 'start': str(20*i), 'limit': '20', 'status': 'P', 'sort': 'new_score',
'comments_only': '1', 'ck': 'qN8_'}
try:
# 發(fā)送GET請(qǐng)求獲取數(shù)據(jù),headers和cookies從瀏覽器中獲取
response = requests.get(base_url, headers=headers, cookies=cookies, params=params)
if response.status_code != 200:
break
result = response.json()
print('[INFO]第{}頁(yè)數(shù)據(jù)獲取成功。'.format(i + 1, ))
except Exception as e:
print('[ERROR]第{}頁(yè)數(shù)據(jù)獲取失敗:{}'.format(i + 1, e))
代碼中使用requests庫(kù)向豆瓣發(fā)送GET請(qǐng)求，一次請(qǐng)求可以獲取一頁(yè)評(píng)論數(shù)據(jù)，改變URL中的start，循環(huán)多次發(fā)送請(qǐng)求，即可獲取所有的評(píng)論數(shù)據(jù)。
網(wǎng)頁(yè)爬取成功后，用正則表達(dá)式匹配需要用到的數(shù)據(jù)，依次寫到excel中(文末提供完整代碼的獲取方式)。
出于豆瓣的限制，非登錄狀態(tài)下只能獲取到11頁(yè)數(shù)據(jù)(220條)，登錄狀態(tài)下只能獲取到25頁(yè)數(shù)據(jù)(500條)，不用爬蟲，人工在網(wǎng)頁(yè)上瀏覽也是如此。不過，豆瓣會(huì)優(yōu)先把點(diǎn)贊(有用)數(shù)高的評(píng)論排在前面(但不是完全降序)，所以獲取到的500條評(píng)論是相對(duì)點(diǎn)贊更多的，已經(jīng)可以滿足我們的要求了。
二、數(shù)據(jù)有效性驗(yàn)證
拿到了數(shù)據(jù)，先驗(yàn)證一下數(shù)據(jù)是否可用，主要判斷評(píng)論中是否有重復(fù)的用戶名，以及是否每個(gè)用戶都看過這部劇。
對(duì)用戶名進(jìn)行驗(yàn)證，重名用戶數(shù)為0，獲取到的500條評(píng)論來(lái)自不同用戶，沒有重復(fù)用戶的情況下評(píng)論更客觀。
對(duì)用戶是否都看過此劇進(jìn)行驗(yàn)證，所有評(píng)論用戶都“看過”。根據(jù)驗(yàn)證結(jié)果，可以確認(rèn)所有評(píng)論都是有效評(píng)論。
三、評(píng)論分析和數(shù)據(jù)可視化
1. 500位用戶分別打了多少星？
豆瓣的1星到5星對(duì)應(yīng)“很差”，“較差”，“還行”，“推薦”和“力薦”，在獲取的數(shù)據(jù)中有11個(gè)用戶沒有打星，可以設(shè)置為0星。從用戶打星的分布來(lái)看，5星超過了60%，4星和5星超過了80%，與文章開頭的截圖基本吻合。
2. 評(píng)論中主要在討論些什么？
從評(píng)論詞云來(lái)看，網(wǎng)友的評(píng)論主要圍繞以下三個(gè)方面：
3. 評(píng)論熱詞被提到了多少次？
根據(jù)熱詞提取結(jié)果，評(píng)論中被提到最多的詞是“社會(huì)”，大部分網(wǎng)友在討論劇中暴露出來(lái)的社會(huì)問題。而其他的熱詞如“受害者”、“精神”、“新聞”等都可以理解成社會(huì)問題中的一部分。
4. 評(píng)論獲得了多少網(wǎng)友的贊同？
從評(píng)論的贊同數(shù)分布來(lái)看，大部分評(píng)論的贊同數(shù)都小于100。不過有4%的評(píng)論獲得了超過500次贊，說明網(wǎng)友對(duì)評(píng)論點(diǎn)贊有很強(qiáng)的“馬太效應(yīng)”，點(diǎn)贊高的評(píng)論更可能排在前面，被更多人看到，然后獲得更多的贊。
5. 熱評(píng)都獲得了多少點(diǎn)贊？
點(diǎn)贊數(shù)前三的評(píng)論都獲得了超過了1W次點(diǎn)贊，超過了點(diǎn)贊數(shù)小于100的90%評(píng)論的總點(diǎn)贊數(shù)，再次說明“馬太效應(yīng)”的存在。
6. 點(diǎn)贊前三的評(píng)論內(nèi)容是什么？
臺(tái)劇質(zhì)量都已經(jīng)拍到這個(gè)深度了，國(guó)產(chǎn)劇還在拍什么家長(zhǎng)里短，情情愛愛。。。。
韓劇在穩(wěn)中求變，臺(tái)灣劇在爆發(fā)式突變。我們的劇以不變應(yīng)萬(wàn)變（反正沒人看）
民眾在斬草，政府在除根，媒體在澆水，只有王赦在研究土壤。
大家對(duì)劇的質(zhì)量都是有要求的，在大部分電視劇毫無(wú)突破時(shí)，出現(xiàn)一部有深度的好劇，確實(shí)會(huì)引導(dǎo)觀眾去思考。
看到劇名《我們與惡的距離》時(shí)，我的第一感受是對(duì)英文劇名《The world between Us》的音譯?？赐暾縿。乙矝]有感受到“惡”的陰暗感，至于這部劇是在探討我們與惡的距離，還是我們與愛的距離，亦或是其他的東西，都沒有觀眾看完后去認(rèn)真思考重要。這也是我對(duì)網(wǎng)友評(píng)論感興趣的原因。
四、代碼獲取
點(diǎn)擊關(guān)注公眾號(hào)“Python碎片”，然后在后臺(tái)回復(fù)“theworld”關(guān)鍵字，可以獲取本文代碼和數(shù)據(jù)。
