新版話題爬蟲新增位置信息

?? 點(diǎn)擊上方?月小水長(zhǎng)?并?設(shè)為星標(biāo)，第一時(shí)間接收干貨推送

這是?月小水長(zhǎng)?的第?86?篇原創(chuàng)干貨

目前公眾號(hào)平臺(tái)改變了推送機(jī)制，點(diǎn)“贊”、點(diǎn)“在看”、添加過(guò)“星標(biāo)”的同學(xué)，都會(huì)優(yōu)先接收到我的文章推送，所以大家讀完文章后，記得點(diǎn)一下“在看”和“贊”。

前陣子發(fā)布了微博位置爬蟲，作用是按照某一個(gè)位置，比如北京或者北京海淀區(qū)或者北京海淀區(qū)中關(guān)村，搜索保存定位聚合到此的微博，詳情可見 微博位置爬蟲發(fā)布（點(diǎn)擊直達(dá)）。

這陣子發(fā)現(xiàn)新版微博話題爬蟲，里面缺少了位置信息，于是在里面加上了兩個(gè)字段，location_name、location_url，前者是地名，后者是該地名對(duì)應(yīng)的位置聚合頁(yè) url，由于是按照話題聚合而不是位置聚合的，而且很多微博并沒(méi)有位置信息，所以這兩個(gè)字段分布比較稀疏，且各不相同?？梢匀?2021 新版微博話題爬蟲發(fā)布（點(diǎn)擊直達(dá)）按照口令獲取最新的 pyd 文件。

最后，說(shuō)下新版話題評(píng)論爬蟲，本次修復(fù)了一些 bug，比如去重時(shí)如果沒(méi)有評(píng)論會(huì)報(bào) FileNotFound 錯(cuò)誤，可以去 2021 新版微博評(píng)論及其子評(píng)論爬蟲發(fā)布（點(diǎn)擊直達(dá)）獲取評(píng)論 pyd 文件的百度網(wǎng)盤鏈接，這里強(qiáng)調(diào)下，無(wú)論是 windows 還是 mac 系統(tǒng)，均優(yōu)先使用NewSuperWeiboChildCommentsForMac 這個(gè)評(píng)論爬蟲文件，修改 mac_comment_config.json 文件，如何替換里面的 cookie？可以參考 2021 微博新版評(píng)論爬蟲更新 這里面的配置，然后運(yùn)行 test.py 即可，它爬的不只是子評(píng)論，根評(píng)論也爬！

最后預(yù)告一下會(huì)發(fā)布微博爬蟲新的系列，至于具體是什么，留點(diǎn)懸念，敬請(qǐng)期待~