spidernet多線程web爬蟲程序
認(rèn)領(lǐng)
0粉絲
spidernet是一個以遞歸樹為模型的多線程web爬蟲程序, 支持text/html資源的獲取. 可以設(shè)定爬行深度, 最大下載字節(jié)數(shù)限制, 支持gzip解碼, 支持以gbk(gb2312)和utf8編碼的資源; 存儲于sqlite數(shù)據(jù)文件.源碼中TODO:標(biāo)記描述了未完成功能, 希望提交你的代碼.
簡介
spidernet是一個以遞歸樹為模型的多線程web爬蟲程序, 支持text/html資源的獲取. 可以設(shè)定爬行深度, 最大下載字節(jié)數(shù)限制, 支持gzip解碼, 支持以gbk(gb2312)和utf8編碼的資源; 存儲于sqlite數(shù)據(jù)文件.源碼中TODO:標(biāo)記描述了未完成功能, 希望提交你的代碼.... 更多
技術(shù)信息
開源協(xié)議
MIT
開發(fā)語言
C#
操作系統(tǒng)
Windows
軟件類型
開源軟件
所屬分類
應(yīng)用工具、 網(wǎng)絡(luò)爬蟲
開源組織
無
地區(qū)
不詳
適用人群
未知
評價
0.0（滿分 10 分）0 個評分
什么是點評分
圖片
表情
全部評價(
0)
推薦率
100%