這可能是你見過最全的網(wǎng)絡(luò)爬蟲工具庫集合!

經(jīng)常逛 GitHub 的同學可能會聽說過大名鼎鼎的 awesome 倉庫，沒錯，就是這個：https://github.com/sindresorhus/awesome。

這個庫可謂是一個極大的寶藏，囊括了有關(guān)技術(shù)的幾乎所有領(lǐng)域的資料、工具和庫，比如平臺、編程語言、前端開發(fā)、后端開發(fā)、大數(shù)據(jù)、數(shù)據(jù)科學、數(shù)據(jù)庫、安全、硬件、DevOps 等等等，幾乎想到的全都有。

就拿 Platform 這個平臺這個分支來講吧，里面又有進一步的細分，比如 iOS、Android、Linux、macOS、JVM 等等，然后每一個又是一個新的以 awesome 開頭的倉庫，比如：

• awesome-linux：https://github.com/inputsh/awesome-linux
• awesome-android：https://github.com/JStumpp/awesome-android
• awesome-macOS：https://github.com/iCHAIT/awesome-macOS

是的，每一個子倉庫里面都收集了關(guān)于這個領(lǐng)域的幾乎所有的資料、工具、庫等等。

也就是說，awesome （https://github.com/sindresorhus/awesome）這個庫是根，然后衍生出來了各個領(lǐng)域和方向的 awesome 子倉庫來收集對應(yīng)領(lǐng)域的資料、工具庫，由全世界的程序員一起維護和貢獻。

真的全是寶藏！

有朋友這會就好奇了，有沒有有關(guān)爬蟲的 awesome 庫呢？有！

awesome-web-scraping

就是這個：https://github.com/lorien/awesome-web-scraping

這里面收集了有關(guān)網(wǎng)絡(luò)爬蟲的各種資料、工具庫的列表，不僅僅是 Python，還有 Go、Ruby、JavaScript、PHP 等等，首頁如下：

另外還有一些爬蟲商業(yè)服務(wù)、控制臺工具、無頭瀏覽器、驗證碼破解網(wǎng)站等等。

比如我們看看 Python 的，里面就收集了各種請求庫、解析庫、數(shù)據(jù)處理庫等等：

這里就不一一放了，是不是又大又全？

awesome-web-scraping 中文版

是的，awesome 系列倉庫還有更小的分支，那就是根據(jù)語言劃分的分支，比如說中文版、日文版、俄文版等等，比如說 awesome-windows 上面就分了中文：https://github.com/Awesome-Windows/Awesome，

其他的很多 awesome 倉庫也有中文，比如：

• awesome-anrdoid 中文：https://github.com/jobbole/awesome-android-cn
• awesome-ios 中文：https://github.com/jobbole/awesome-ios-cn

OK，那我做了件什么事呢？

我也為 awesome-web-scraping 創(chuàng)建了一個中文版本的倉庫：https://github.com/Germey/AwesomeWebScraping。

其實就是對原倉庫進行了一次翻譯，也是區(qū)分了各種語言，比如 Python、JavaScript 等各個語言的工具庫全在這里面了！另外每個語言都有很多分類，像請求庫、爬取框架、解析庫、自然語言處理、消息隊列等等，都在這里了：

比如部分的內(nèi)容大致如下：

總之，這個庫的目標就是做一個 GitHub 上收集有關(guān)網(wǎng)絡(luò)爬蟲工具庫的最全的中文版集合！

“

當然現(xiàn)在我還在翻譯和優(yōu)化過程中，部分內(nèi)容可能不是完全通順，還會繼續(xù)更新和完善的。

”

大家如果發(fā)現(xiàn)有遺漏的庫，想往里面加的話也歡迎提 PR，我會一并收納和整理，一起讓它完善起來吧！

往期精彩回顧▼?全國結(jié)婚率連續(xù)5年下降，這屆年輕人，為什么不敢結(jié)婚？最詳細Python打包exe教程，并修改圖標，30秒搞定！簡單實用，Python代碼調(diào)試利器~抖音上好看的跳舞小姐姐，Python都給你都下載好了!爬蟲實戰(zhàn)：英雄聯(lián)盟手游能“干掉”王者榮耀？微博4.3億網(wǎng)友吵翻了……

分享

收藏

點贊

在看