微博評論轉(zhuǎn)發(fā)總是抓不全?你可能需要知道這些。
距離上一次配置教程更新:萬字長文,2022 最全微博超級爬蟲指南?已經(jīng)過去了快 3?個月,天數(shù)更易,神器有變,期間后臺有不少讀者留言各種問題和錯誤,一部分是上次教程更新的遺漏,也有是微博接口變化,抽空梳理了下。問題主要集中在以下幾個方面:
微博評論、轉(zhuǎn)發(fā)總是抓取不全,顯示 3 w條只抓到 300 條。
SSL Error?retry times?exceed?
如何在多版本 Python 下,切換到 Python 3.6.6 64 bit。
pycharm 里看不到 pyc。
json 配置錯誤。
ImportError: bad magic number 等運行錯誤。
...
as we all known,微信文章不好修改,以前的教程可能失效,關(guān)于微博爬蟲,一切以 buyixiao's blog 為準(zhǔn),后續(xù)小的更新直接發(fā)布在博客上(大的還是會發(fā)布在公眾號通知讀者),本次各種問題的集中解答也更新于此:
https://buyixiao.github.io/blog/weibo-super-spider.html#%E9%81%87%E5%88%B0%E9%94%99%E8%AF%AF%E6%80%8E%E4%B9%88%E5%8A%9E點擊閱讀原文即可直達(dá)教程,最好在電腦上瀏覽。遇到問題請優(yōu)先查詢此教程。
評論
圖片
表情
