goodcrawler網(wǎng)絡(luò)爬蟲

goodcrawler(GC) 網(wǎng)絡(luò)爬蟲

GC是一個垂直領(lǐng)域的爬蟲，同時也是一個拆箱即用的搜索引擎。

GC基于httpclient、htmlunit、jsoup、elasticsearch。

GC的特點(diǎn)：

1、具有DSL特性的模板。

2、分布式、可擴(kuò)展。

3、辛虧有htmlunit，它能較好地支持javascript。

5、合理的插件設(shè)計，方便功能擴(kuò)充。

6、天然繼承es，本身即是一個完整的搜索引擎。

下載獨(dú)立運(yùn)行版