Blog-Hunter基于 webMagic 的博客爬取工具

Blog-Hunter（博客獵手），基于 webMagic 的博客爬取工具，支持慕課、csdn、iteye、cnblogs、掘金和 V2EX 等各大主流博客平臺。

主要功能

• 多個平臺：該項目內(nèi)置了慕課、csdn、iteye、cnblogs、掘金和 V2EX 六個主流的博客平臺
• 單篇抓取：只需指定一個文章連接，即可自動抓取文章內(nèi)容
• 列表抓取：只需簡單的配置，就可快速抓取列表文章
• 程序可控：可選擇根據(jù)抓取的鏈接數(shù)或者程序運(yùn)行的時間停止程序
• 字符流輸出：可配合前端，實(shí)現(xiàn)實(shí)時打印程序日志的功能
• 多線程：支持多線程抓取，效率更高