丑牛迷你采集器
丑牛迷你采集器是一款基于Java Swing開發(fā)的專業(yè)的網(wǎng)絡(luò)數(shù)據(jù)采集/信息挖掘處理軟件,通過靈活的配置,可以很輕松迅速地從 網(wǎng)頁上抓取結(jié)構(gòu)化的文本、圖片、文件等資源信息,可編輯篩選處理后選擇發(fā)布到網(wǎng)站
架構(gòu)說明
系統(tǒng)是基于 Swing+Spring-3.2.4+Mybatis-3.1.1+C3p0-0.9.1.2+Sqlite等技術(shù)實現(xiàn)的。
采用插件式開發(fā)模式,各大功能模塊均可獨(dú)出來,功能與系統(tǒng)UI對立,可配置性較強(qiáng)。
功能概述
1:系統(tǒng)登錄界面:
2:系統(tǒng)啟動界面:
3:系統(tǒng)主界面:
(1)我的丑牛:系統(tǒng)信息,插件信息,內(nèi)存監(jiān)控,以及任務(wù)監(jiān)控。
(2)采集配置:采集相關(guān)的基礎(chǔ)配置,包括遠(yuǎn)程數(shù)據(jù)庫配置,F(xiàn)TP配置,自定義數(shù)據(jù)配置
(2)數(shù)據(jù)采集:對采集過程統(tǒng)一管理,包括采集公共參數(shù)設(shè)置,采集規(guī)則列表,采集歷史列表,采集內(nèi)容列表
(3)任務(wù)監(jiān)控:包括采集任務(wù)監(jiān)控,入庫任務(wù)監(jiān)控,上傳任務(wù)監(jiān)控
(4)定時任務(wù):定時執(zhí)行采集任務(wù)
(5)實用工具:包括圖片處理
