Cola分布式爬蟲框架
認領(lǐng)
0粉絲
Cola是一個分布式的爬蟲框架，用戶只需編寫幾個特定的函數(shù)，而無需關(guān)注分布式運行的細節(jié)。任務(wù)會自動分配到多臺機器上，整個過程對用戶是透明的。依賴首先，確保Python版本為2.6或者2.7（未來會支持3+）。由于Cola配置文件使用的yaml，所以Cola只依賴于pyyaml，安裝easy_inst
簡介
Cola是一個分布式的爬蟲框架，用戶只需編寫幾個特定的函數(shù)，而無需關(guān)注分布式運行的細節(jié)。任務(wù)會自動分配到多臺機器上，整個過程對用戶是透明的。依賴首先，確保Python版本為2.6或者2.7（未來會支持3+）。由于Cola配置文件使用的yaml，所以Cola只依賴于pyyaml，安裝easy_inst... 更多
技術(shù)信息
開源協(xié)議
Apache
開發(fā)語言
Python
操作系統(tǒng)
跨平臺
軟件類型
開源軟件
所屬分類
應(yīng)用工具、 網(wǎng)絡(luò)爬蟲
開源組織
無
地區(qū)
國產(chǎn)
適用人群
未知
評價
0.0（滿分 10 分）0 個評分
什么是點評分
圖片
表情
全部評價(
0)
推薦率
100%