無(wú) Cookie 微博爬蟲(chóng)系列：話題爬蟲(chóng)升級(jí)

點(diǎn)擊上方?月小水長(zhǎng)?并?設(shè)為星標(biāo)，第一時(shí)間接收干貨推送

金庸老先生的《神雕俠侶》中有對(duì)于獨(dú)孤求敗前輩一生的劍術(shù)中有一段這樣的描述：

縱橫江湖三十余載，殺盡仇寇，敗盡英雄，天下更無(wú)敵手，無(wú)可奈何，惟隱居深谷，以雕為友。嗚呼，生平求一敵手而不可得，誠(chéng)寂寥難堪也。劍魔獨(dú)孤求敗既無(wú)敵于天下，乃埋劍于斯。嗚呼！群雄束手，長(zhǎng)劍空利，不亦悲夫！
第一柄劍長(zhǎng)四尺，鋒利無(wú)比，劍下石片下寫(xiě)著：「凌厲剛猛，無(wú)堅(jiān)不摧，弱冠前以之與河朔群雄爭(zhēng)鋒。」
第二片石片上沒(méi)有劍，下面寫(xiě)著：「紫薇軟劍，三十歲前所用，誤傷義士不祥，悔恨無(wú)已，乃棄之深谷。」
劍魔獨(dú)孤求敗的第三把武器：「重劍無(wú)鋒，大巧不工。四十歲前恃之橫行天下。」外表黑黝，劍身深黑之中隱隱透出紅光，三尺多長(zhǎng)，共重八八六十四斤，兩邊劍鋒都是鈍口，劍尖圓圓的似是個(gè)半球。
第四個(gè)階段才是漸入化境，第四柄木劍，石片上文字道：「四十歲之后不滯于物，草木竹石均可為劍。自此精進(jìn)，漸入無(wú)劍勝有劍之境

大概意思是說(shuō)，獨(dú)孤求敗年輕血?dú)夥絼偟臅r(shí)候喜歡用鋒利剛猛的劍，三十歲左右喜歡用紫薇軟劍，按時(shí)年輕人經(jīng)歷世事后變成溫潤(rùn)寬容的中年，四十歲的時(shí)候已經(jīng)用上了鈍劍，說(shuō)明已經(jīng)劍術(shù)高超，不在乎劍本身鋒利與否，最后手中無(wú)劍，已達(dá)到心中有劍的化境了。

其實(shí)這幾個(gè)境界，用在我這個(gè)微博爬蟲(chóng)系列的發(fā)展上，也有那么三分適用，最開(kāi)始是手動(dòng)復(fù)制 Cookie，正是凌厲剛猛的時(shí)候，接著自動(dòng)生成 Cookie，差不多是重劍無(wú)鋒的地步，最后就是今天正式開(kāi)篇的無(wú) Cookie 系列，漸有代碼無(wú) Cookie 勝似有 Cookie 之境界。

七分不適用說(shuō)的是，我這個(gè)微博無(wú) Cookie 系列想比較之前的并不是遞進(jìn)關(guān)系，而是分叉關(guān)系，另辟了一條小路，正是那句工程學(xué)那句至高無(wú)上的典籍，簡(jiǎn)單可依賴。

本系列至少會(huì)有兩個(gè) feature 的爬蟲(chóng)，一個(gè)是今天正式發(fā)布的話題爬蟲(chóng)，還有一個(gè)是無(wú) Cookie 爬單條評(píng)論 10w+ 的評(píng)論爬蟲(chóng)。

無(wú) Cookie 話題爬蟲(chóng)其實(shí)在 免 cookie 微博話題爬蟲(chóng)發(fā)布 已經(jīng)初步發(fā)布過(guò)，今天是正式的升級(jí)，主要的不同的是字段信息全部和其他爬蟲(chóng)全部對(duì)齊和提升了可用性穩(wěn)定性，其結(jié)果 csv 文件如下。

該爬蟲(chóng)代碼全部開(kāi)源在 Github 上，點(diǎn)擊閱讀原文即可直達(dá)。

拿到這份代碼，唯一需要修改的地方就是 keyword，即話題的名字。

同時(shí)需要注意的是，可在for page in range處修改起始和結(jié)束頁(yè)碼。

無(wú) Cookie 拿到話題下的微博數(shù)據(jù)，再有無(wú) Cookie 抓取這些微博的評(píng)論，簡(jiǎn)直就是空手套白狼，妙哉！