ItSucks網(wǎng)絡(luò)爬蟲

ItSucks是一個(gè)javawebspider（web機(jī)器人，爬蟲）開源項(xiàng)目。支持通過下載模板和正則表達(dá)式來定義下載規(guī)則。提供一個(gè)swingGUI操作界面。

goodcrawler(GC) 網(wǎng)絡(luò)爬蟲GC是一個(gè)垂直領(lǐng)域的爬蟲，同時(shí)也是一個(gè)拆箱即用的搜索引擎。G

Another Simple Crawler 又一個(gè)網(wǎng)絡(luò)爬蟲，可以支持代理服務(wù)器的翻墻爬取。1.數(shù)據(jù)

本項(xiàng)目fork項(xiàng)目go_spider，github：https://github.com/hu17889/go_spider?，因此項(xiàng)目架構(gòu)的部分文檔可以參考此項(xiàng)目。同時(shí)項(xiàng)目架構(gòu)、部分思路參考了pyt

goodcrawler(GC)網(wǎng)絡(luò)爬蟲GC是一個(gè)垂直領(lǐng)域的爬蟲，同時(shí)也是一個(gè)拆箱即用的搜索引擎。GC基于httpclient、htmlunit、jsoup、elasticsearch。GC的特點(diǎn)：1、

本項(xiàng)目 fork 項(xiàng)目go_spider，github：https://github.com/hu1

AnotherSimpleCrawler又一個(gè)網(wǎng)絡(luò)爬蟲，可以支持代理服務(wù)器的翻墻爬取。1.數(shù)據(jù)存在mysql當(dāng)中。2.使用時(shí)，先修改web-inf/config.ini的數(shù)據(jù)鏈接相關(guān)信息，主要是數(shù)據(jù)庫

Spiderman是一個(gè)基于微內(nèi)核+插件式架構(gòu)的網(wǎng)絡(luò)蜘蛛，它的目標(biāo)是通過簡單的方法就能將復(fù)雜的目標(biāo)網(wǎng)頁信息抓取并解析為自己所需要的業(yè)務(wù)數(shù)據(jù)。最新提示：歡迎來體驗(yàn)最新版本Spiderman2，http:

larbin是一種開源的網(wǎng)絡(luò)爬蟲/網(wǎng)絡(luò)蜘蛛，由法國的年輕人 Sébastien Ailleret獨(dú)立