實(shí)時(shí)監(jiān)控900多家中國(guó)企業(yè)的新聞動(dòng)態(tài)
向AI轉(zhuǎn)型的程序員都關(guān)注了這個(gè)號(hào)??????
機(jī)器學(xué)習(xí)AI算法工程?? 公眾號(hào)：datayx
此項(xiàng)目可監(jiān)控近千家中國(guó)企業(yè)的官方網(wǎng)站的新聞動(dòng)態(tài)，如有更新，系統(tǒng)能在最短2分鐘之內(nèi)通過郵件發(fā)送更新的標(biāo)題和鏈接。更新的信息流也可通過瀏覽器查看。監(jiān)控的公司和站點(diǎn)可以添加刪除。
原理：定期抓取網(wǎng)站html, 使用difflib比對(duì)新舊頁(yè)面源碼，發(fā)現(xiàn)增加的部分，提取url和text，過濾篩選，保存MySQL數(shù)據(jù)庫(kù)。定期把更新的url和text，通過郵件發(fā)送給訂閱者。
全部代碼?獲取方式：
關(guān)注微信公眾號(hào) datayx? 然后回復(fù)?新聞動(dòng)態(tài)?即可獲取。
環(huán)境準(zhǔn)備
系統(tǒng)需安裝MySQL和Redis數(shù)據(jù)庫(kù)以及Python3. 建議安裝Python3虛擬環(huán)境之后運(yùn)行。
安裝依賴包
pip install -r requirements.txtWeb運(yùn)行
創(chuàng)建MySQL數(shù)據(jù)庫(kù)
連接MySQL，執(zhí)行
mysql> create database alpha_z default charset utf8;
創(chuàng)建表
python models.py
運(yùn)行
python app.py
瀏覽器打開?http://127.0.0.1:8888/
用戶
新用戶注冊(cè) 僅用于管理員注冊(cè)的一個(gè)接口?http://127.0.0.1:8888/register
用戶訂閱 訂閱用戶能定期收到郵件推送?http://127.0.0.1:8888/subscription?
公司、站點(diǎn)管理
在公司欄可以查看公司列表和添加公司，點(diǎn)擊公司進(jìn)入公司Profile頁(yè)可以編輯
導(dǎo)入收集的公司信息
cd utils/ ; python xlsx_reader.py抓取日志?http://127.0.0.1:8888/log
信息流
資訊欄包括全部信息，海外欄是包含關(guān)鍵詞的企業(yè)出海信息
可以在關(guān)鍵詞欄管理關(guān)鍵詞。
將國(guó)家和地區(qū)名導(dǎo)入數(shù)據(jù)庫(kù)
cd utils/ ; python keywords_reader.py
抓取控制
開啟celery任務(wù)隊(duì)列(需要先安裝redis)
在系統(tǒng)根目錄執(zhí)行
celery -A info_engine worker -c 20 -l info
運(yùn)行爬蟲
python info_engine.py
抓取頻率, Celery參數(shù)可在config.py文件設(shè)置
發(fā)送郵件
需要在config設(shè)置EMAIL和SEND_MAIL_INTERVAL參數(shù)
啟動(dòng)定時(shí)發(fā)郵件程序
python mail_bot.py
手動(dòng)發(fā)郵件可以執(zhí)行：
cd utils/ ; python send_email.py機(jī)器學(xué)習(xí)算法AI大數(shù)據(jù)技術(shù)
?搜索公眾號(hào)添加：?datanlp
長(zhǎng)按圖片，識(shí)別二維碼
閱讀過本文的人還看了以下文章：
TensorFlow 2.0深度學(xué)習(xí)案例實(shí)戰(zhàn)
基于40萬(wàn)表格數(shù)據(jù)集TableBank，用MaskRCNN做表格檢測(cè)
《基于深度學(xué)習(xí)的自然語(yǔ)言處理》中/英PDF
Deep Learning 中文版初版-周志華團(tuán)隊(duì)
【全套視頻課】最全的目標(biāo)檢測(cè)算法系列講解，通俗易懂！
《美團(tuán)機(jī)器學(xué)習(xí)實(shí)踐》_美團(tuán)算法團(tuán)隊(duì).pdf
《深度學(xué)習(xí)入門：基于Python的理論與實(shí)現(xiàn)》高清中文PDF+源碼
《深度學(xué)習(xí)：基于Keras的Python實(shí)踐》PDF和代碼
python就業(yè)班學(xué)習(xí)視頻，從入門到實(shí)戰(zhàn)項(xiàng)目
2019最新《PyTorch自然語(yǔ)言處理》英、中文版PDF+源碼
《21個(gè)項(xiàng)目玩轉(zhuǎn)深度學(xué)習(xí)：基于TensorFlow的實(shí)踐詳解》完整版PDF+附書代碼
《深度學(xué)習(xí)之pytorch》pdf+附書源碼
PyTorch深度學(xué)習(xí)快速實(shí)戰(zhàn)入門《pytorch-handbook》
【下載】豆瓣評(píng)分8.1,《機(jī)器學(xué)習(xí)實(shí)戰(zhàn):基于Scikit-Learn和TensorFlow》
《Python數(shù)據(jù)分析與挖掘?qū)崙?zhàn)》PDF+完整源碼
汽車行業(yè)完整知識(shí)圖譜項(xiàng)目實(shí)戰(zhàn)視頻(全23課)
李沐大神開源《動(dòng)手學(xué)深度學(xué)習(xí)》，加州伯克利深度學(xué)習(xí)（2019春）教材
筆記、代碼清晰易懂！李航《統(tǒng)計(jì)學(xué)習(xí)方法》最新資源全套！
《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》最新2018版中英PDF+源碼
將機(jī)器學(xué)習(xí)模型部署為REST API
FashionAI服裝屬性標(biāo)簽圖像識(shí)別Top1-5方案分享
重要開源！CNN-RNN-CTC 實(shí)現(xiàn)手寫漢字識(shí)別
同樣是機(jī)器學(xué)習(xí)算法工程師，你的面試為什么過不了？
前海征信大數(shù)據(jù)算法：風(fēng)險(xiǎn)概率預(yù)測(cè)
【Keras】完整實(shí)現(xiàn)‘交通標(biāo)志’分類、‘票據(jù)’分類兩個(gè)項(xiàng)目，讓你掌握深度學(xué)習(xí)圖像分類
VGG16遷移學(xué)習(xí)，實(shí)現(xiàn)醫(yī)學(xué)圖像識(shí)別分類工程項(xiàng)目
特征工程(二) :文本數(shù)據(jù)的展開、過濾和分塊
如何利用全新的決策樹集成級(jí)聯(lián)結(jié)構(gòu)gcForest做特征工程并打分？
Machine Learning Yearning 中文翻譯稿
全球AI挑戰(zhàn)-場(chǎng)景分類的比賽源碼(多模型融合)
斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）
python+flask搭建CNN在線識(shí)別手寫中文網(wǎng)站
中科院Kaggle全球文本匹配競(jìng)賽華人第1名團(tuán)隊(duì)-深度學(xué)習(xí)與特征工程
不斷更新資源
深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、數(shù)據(jù)分析、python
?搜索公眾號(hào)添加：?datayx??