livetv_mining直播網(wǎng)站數(shù)據(jù)采集

關(guān)于項(xiàng)目

介紹

項(xiàng)目實(shí)現(xiàn)爬蟲、數(shù)據(jù)挖掘/分析等功能。目前主要是掃描直播站點(diǎn)收集數(shù)據(jù)，后續(xù)會開發(fā)相關(guān)數(shù)據(jù)分析模塊。

架構(gòu)采用前后端分離，通過RESTFul API通信。前端Vue+Webpack，后端Flask。

文件結(jié)構(gòu)分為三部分，每個(gè)部分可以單獨(dú)提供服務(wù)：

• frontend 前端代碼，使用Vue+Webpack開發(fā)管理。
• server 后端RESTFul服務(wù)，使用Flask搭建提供API。
• crawler 爬蟲服務(wù)，使用框架scrapy對直播站點(diǎn)爬取數(shù)據(jù)。

使用中有問題或更新建議，歡迎提issue或用以下聯(lián)系方式跟我交流：

• 郵件: [email protected]
• QQ: 3084582097

歷程

• 2017-05-10 開發(fā)新爬蟲火貓。
• 2017-04-24 全民收集開發(fā)完成。
• 2017-04-22 熊貓收集開發(fā)完成。
• 2017-04-20 斗魚收集開發(fā)完成。
• 2017-04-15 準(zhǔn)備開發(fā)收集站點(diǎn)房間：關(guān)注數(shù)、公告、上一次開播時(shí)間、打賞值、開播當(dāng)天人氣中位數(shù)。
• 2017-04-01 變更LICENSE：GPL -> Apache。
• 2017-03-20 開發(fā)新爬蟲全民。
• 2017-03-03 開發(fā)新爬蟲龍珠。
• 2017-03-01 恢復(fù)爬蟲熊貓、戰(zhàn)旗。
• 2017-01-07 完成全部功能遷移，前后端分離完成。
• 2016-12-24 引入vuex進(jìn)行state和權(quán)限管理。
• 2016-12-15 引入vue-resource，主模塊(Main)完成分離。
• 2016-11-25 研究流行前端框架和開發(fā)方式，確定使用webpack開發(fā)。
• 2016-11-20 重新設(shè)計(jì)結(jié)構(gòu)，進(jìn)行前后端分離。
• 2016-11-01 修正改造搜索功能，需要登錄后才能使用。
• 2016-10-29 完成渲染初步改造，已實(shí)現(xiàn)調(diào)用REST API進(jìn)行訪問讀取。爬蟲運(yùn)行間隔20分鐘。
• 2016-10-20 引入Vue.js，改造前端渲染方式，減輕服務(wù)器壓力。開發(fā)完成簡單 Flask-Vue 插件。
• 2016-10-15 引入Scrapy重構(gòu)爬蟲，精簡爬蟲步驟。僅保留斗魚、BiliBli爬蟲。

2016-08-15 v1.0版本開發(fā)結(jié)束，代碼保存在分支v1.0

捐助開發(fā)者

如果你喜歡我的作品 or 站點(diǎn)對你有所幫助，希望能支持我一下。