WebPasser開源爬蟲框架

WebPasser是一款可配置的開源爬蟲框架，提供爬蟲控制臺(tái)管理界面，通過配置解析各類網(wǎng)頁內(nèi)容，無需寫一句java代碼即可抽取所需數(shù)據(jù)。

1.包含強(qiáng)大的頁面解析引擎，提供jsoup、xpath、正則表達(dá)式等處理鏈，通過簡單配置即可抽取所需的指定內(nèi)容。
2.提供爬蟲控制管理界面，可實(shí)時(shí)監(jiān)控抓取狀態(tài)，動(dòng)態(tài)添加抓取任務(wù)，動(dòng)態(tài)配置定時(shí)任務(wù)，可對單個(gè)網(wǎng)頁進(jìn)行測試抓取。
3.提供抓取各階段的觸發(fā)器、攔截器，方便擴(kuò)展。

控制臺(tái)部分截圖：

使用:

1.查看目標(biāo)網(wǎng)站的頁面特征，在xml中配置所需抓取內(nèi)容。
2.在控制臺(tái)添加一個(gè)抓取任務(wù)，將xml配置提交。
3.對單個(gè)網(wǎng)頁測試或整個(gè)任務(wù)執(zhí)行測試。
4.在webpasser.project中擴(kuò)展數(shù)據(jù)持久化類或使用現(xiàn)有持久化類存儲(chǔ)數(shù)據(jù)
5.設(shè)置定時(shí)任務(wù)。