可提高 page，可跳過緩存，微博無 cookie 爬蟲網(wǎng)站更新

前陣子發(fā)布了 帶 ip 屬地，無 Cookie 微博話題自助抓取網(wǎng)站上線，可以實(shí)現(xiàn)脫離 Python 環(huán)境，直接在瀏覽器上抓取最新微博話題數(shù)據(jù)。

大家反饋使用有兩個(gè)使用痛點(diǎn)：

第一就是只能抓 10 頁太少了。

第二是我想監(jiān)控一個(gè)話題，5 分鐘前抓取了一個(gè)熱門話題，5分鐘后再想抓取同一個(gè)話題，由于緩存機(jī)制的設(shè)計(jì)，會(huì)直接返回 5 分鐘前抓取保存的結(jié)果 csv 文件，而不是抓取當(dāng)前最新的微博。

痛點(diǎn)必須解決，安排上了，網(wǎng)站升級(jí)后部分截圖如下。

默認(rèn)配置和之前保持一樣，可以去密鑰獲取地址獲取最新密鑰升級(jí)抓取配置，完成 page 升級(jí)和跳過緩存后抓取當(dāng)前最新數(shù)據(jù)。

獲取本站點(diǎn)密鑰后，新增 ip 屬地，抓得更多，微博超級(jí)評(píng)論爬蟲大更新 和 中斷可繼續(xù)，10w+，無 cookie 微博評(píng)論抓取網(wǎng)站上線 等站點(diǎn)的密鑰在愛發(fā)電平臺(tái)上自動(dòng)可見。

網(wǎng)站地址：

https://weibo-topic.buyixiao.xyz/

點(diǎn)擊閱讀原文直達(dá)。