livetv_mining直播網(wǎng)站數(shù)據(jù)采集
關(guān)于項(xiàng)目
介紹
項(xiàng)目實(shí)現(xiàn)爬蟲、數(shù)據(jù)挖掘/分析等功能。目前主要是掃描直播站點(diǎn)收集數(shù)據(jù),后續(xù)會開發(fā)相關(guān)數(shù)據(jù)分析模塊。
架構(gòu)采用前后端分離,通過RESTFul API通信。前端Vue+Webpack,后端Flask。
文件結(jié)構(gòu)分為三部分,每個(gè)部分可以單獨(dú)提供服務(wù):
- frontend 前端代碼,使用Vue+Webpack開發(fā)管理。
- server 后端RESTFul服務(wù),使用Flask搭建提供API。
- crawler 爬蟲服務(wù),使用框架scrapy對直播站點(diǎn)爬取數(shù)據(jù)。
使用中有問題或更新建議,歡迎提issue或用以下聯(lián)系方式跟我交流:
- 郵件: [email protected]
- QQ: 3084582097
歷程
- 2017-05-10 開發(fā)新爬蟲火貓。
- 2017-04-24 全民收集開發(fā)完成。
- 2017-04-22 熊貓收集開發(fā)完成。
- 2017-04-20 斗魚收集開發(fā)完成。
- 2017-04-15 準(zhǔn)備開發(fā)收集站點(diǎn)房間:關(guān)注數(shù)、公告、上一次開播時(shí)間、打賞值、開播當(dāng)天人氣中位數(shù)。
- 2017-04-01 變更LICENSE:GPL -> Apache。
- 2017-03-20 開發(fā)新爬蟲全民。
- 2017-03-03 開發(fā)新爬蟲龍珠。
- 2017-03-01 恢復(fù)爬蟲熊貓、戰(zhàn)旗。
- 2017-01-07 完成全部功能遷移,前后端分離完成。
- 2016-12-24 引入vuex進(jìn)行state和權(quán)限管理。
- 2016-12-15 引入vue-resource,主模塊(Main)完成分離。
- 2016-11-25 研究流行前端框架和開發(fā)方式,確定使用webpack開發(fā)。
- 2016-11-20 重新設(shè)計(jì)結(jié)構(gòu),進(jìn)行前后端分離。
- 2016-11-01 修正改造搜索功能,需要登錄后才能使用。
- 2016-10-29 完成渲染初步改造,已實(shí)現(xiàn)調(diào)用REST API進(jìn)行訪問讀取。爬蟲運(yùn)行間隔20分鐘。
- 2016-10-20 引入Vue.js,改造前端渲染方式,減輕服務(wù)器壓力。開發(fā)完成簡單 Flask-Vue 插件。
- 2016-10-15 引入Scrapy重構(gòu)爬蟲,精簡爬蟲步驟。僅保留斗魚、BiliBli爬蟲。
2016-08-15 v1.0版本開發(fā)結(jié)束,代碼保存在分支v1.0
捐助開發(fā)者
如果你喜歡我的作品 or 站點(diǎn)對你有所幫助,希望能支持我一下。
| 微信 | 支付寶 |
|---|---|
評論
圖片
表情
