可提高 page,可跳過緩存,微博無 cookie 爬蟲網(wǎng)站更新
點(diǎn)擊上方 月小水長(zhǎng) 并 設(shè)為星標(biāo),第一時(shí)間接收干貨推送
前陣子發(fā)布了 帶 ip 屬地,無 Cookie 微博話題自助抓取網(wǎng)站上線,可以實(shí)現(xiàn)脫離 Python 環(huán)境,直接在瀏覽器上抓取最新微博話題數(shù)據(jù)。
大家反饋使用有兩個(gè)使用痛點(diǎn):
第一就是只能抓 10 頁太少了。
第二是我想監(jiān)控一個(gè)話題,5 分鐘前抓取了一個(gè)熱門話題,5分鐘后再想抓取同一個(gè)話題,由于緩存機(jī)制的設(shè)計(jì),會(huì)直接返回 5 分鐘前抓取保存的結(jié)果 csv 文件,而不是抓取當(dāng)前最新的微博。
痛點(diǎn)必須解決,安排上了,網(wǎng)站升級(jí)后部分截圖如下。

默認(rèn)配置和之前保持一樣,可以去密鑰獲取地址獲取最新密鑰升級(jí)抓取配置,完成 page 升級(jí)和跳過緩存后抓取當(dāng)前最新數(shù)據(jù)。
獲取本站點(diǎn)密鑰后,新增 ip 屬地,抓得更多,微博超級(jí)評(píng)論爬蟲大更新 和 中斷可繼續(xù),10w+,無 cookie 微博評(píng)論抓取網(wǎng)站上線 等站點(diǎn)的密鑰在愛發(fā)電平臺(tái)上自動(dòng)可見。
網(wǎng)站地址:
https://weibo-topic.buyixiao.xyz/點(diǎn)擊閱讀原文直達(dá)。
評(píng)論
圖片
表情
