stock-job-web股票數(shù)據(jù)計算分析 web 系統(tǒng)

stock-job-web V1 是基于 Python的 pandas、tushare、bokeh、tornado、stockstats、ta-lib 等框架開發(fā)的全棧股票系統(tǒng)。

1）可以直接使用docker直接本地部署運行，整個項目在docker hub上壓縮后200BM，本地占用500MB磁盤空間。

2）使用Docker解決了Python庫安裝問題，使用Mariadb（MySQL）存儲數(shù)據(jù)。借助tushare抓取數(shù)據(jù)（老API，后續(xù)使用tushare pro開發(fā)）

3）使用corn做定時任務(wù)，每天進行數(shù)據(jù)抓取計算，每天18點開始進行數(shù)據(jù)計算，計算當(dāng)日數(shù)據(jù)，使用300天數(shù)據(jù)進行計算，大約需要15分鐘計算完畢。

4）股票數(shù)據(jù)接口防止被封，按天進行數(shù)據(jù)緩存，儲存最近3天數(shù)據(jù)，每天定時清除，同時使用read_pickle to_pickle 的gzip壓縮模式存儲。

5）使用tornado開發(fā)web系統(tǒng)，支持股票數(shù)據(jù)，滬深300成份股，中證500成份股，龍虎榜數(shù)據(jù)，每日股票數(shù)據(jù)，每日大盤指數(shù)行情等

6）數(shù)據(jù)展示系統(tǒng)，是通用數(shù)據(jù)展示系統(tǒng)，配置字典模板之后，頁面自動加載數(shù)據(jù)，并完成數(shù)據(jù)展示，后續(xù)自己開發(fā)的指標數(shù)據(jù)可以加入進去。

7）增加曲線數(shù)據(jù)分析，在查看股票中，可以直接跳轉(zhuǎn)到東方財富頁面查看相關(guān)信息，點擊指標之后使用Bokeh將多達 17 個指標的數(shù)據(jù)繪圖，進行圖表展示。

每日股票指標數(shù)據(jù)計算17個指標如下（數(shù)據(jù)表 guess_indicators_daily）：

使用方法（依賴docker）

使用 mariadb 和 stock 兩個鏡像

mkdir -p /data/mariadb/data
docker pull pythonstock/pythonstock:latest
docker pull mariadb:latest

docker run --name mariadb -v /data/mariadb/data:/var/lib/mysql \
    -e MYSQL_ROOT_PASSWORD=mariadb -p 3306:3306 -d mariadb:latest

docker run -itd --link=mariadb --name stock  \
    -v /data/notebooks:/data/notebooks \
    -p 8888:8888 \
    -p 9999:9999 \
    pythonstock/pythonstock:latest

直接啟動stock ，使用其他 mysql 數(shù)據(jù)庫，需要配置變量方式：

docker run -itd --name stock  \
    -v /data/notebooks:/data/notebooks \
    -p 8888:8888 \
    -p 9999:9999 \
    -e MYSQL_HOST=127.0.0.1 \
    -e MYSQL_USER=root \
    -e MYSQL_PWD=mariadb \
    -e MYSQL_DB=stock_data \
    pythonstock/pythonstock:latest

進入鏡像：

docker exec -it stock bash 
sh /data/stock/jobs/cron.daily/run_daily

說明，啟動容器后，會調(diào)用。run_init.sh 進行數(shù)據(jù)初始化，同時第一次執(zhí)行后臺執(zhí)行當(dāng)日數(shù)據(jù)。 以后每日18點（只有18點左右才有今日的數(shù)據(jù)）進行股票數(shù)據(jù)抓取并計算。

本地訪問端口

http://localhost:9999 股票系統(tǒng)

http://localhost:8888 jupyter

查看jupyter的密碼：

docker exec -it stock bash 

查看登錄 token 問題：

jupyter notebook list

# 就可以看到 token 了，然后可以登錄了。

股票系統(tǒng)設(shè)計

相關(guān)博客資料： http://blog.csdn.net/freewebsys/article/category/7076584

股票數(shù)據(jù)抓取框架使用TuShare。 http://tushare.org/

數(shù)據(jù)分析清洗使用pandas，numpy。 http://pandas.pydata.org/

數(shù)據(jù)存儲到磁盤上，使用Mysql數(shù)據(jù)庫。存儲股票數(shù)據(jù)。 https://pypi.python.org/pypi/mysqlclient

web框架使用tornado http://www.tornadoweb.org/en/stable/

tornado web系統(tǒng) http://docs.pythontab.com/tornado/introduction-to-tornado/

scikit-learn 文檔，中文文檔 https://scikit-learn.org/stable/ https://github.com/apachecn/sklearn-doc-zh/

架構(gòu)設(shè)計

全系使用python實現(xiàn)。因為都是python的類庫，互相之間調(diào)用方便。 從數(shù)據(jù)抓取，數(shù)據(jù)處理，到數(shù)據(jù)展示數(shù)據(jù)運算都是python實現(xiàn)。

最終的數(shù)據(jù)都到前端展示出來。主要分為4個文件夾。

jobs 抓取數(shù)據(jù)并存儲實現(xiàn)類。

libs 通用工具類。

web 前端展示框架。

supervisor 進程管理工具。

github地址：https://github.com/pythonstock/stock

博客資料： http://blog.csdn.net/freewebsys/article/category/7076584