thorns分布式異步隊列系統(tǒng)

thorns 是一個 Python 開發(fā)的分布式異步隊列系統(tǒng)。

運行流程

• 啟動 redis 內(nèi)存服務器，作為隊列存儲數(shù)據(jù)庫使用

• 配置芹菜 (celery) 運行環(huán)境，并連接 redis 隊列內(nèi)存，讀取執(zhí)行任務，并返回結(jié)果存儲到后端 MySQL 數(shù)據(jù)庫

• 配置任務控制臺花花 (flower)，并連接 redis 隊列內(nèi)存，管理所有 worker 客戶端與執(zhí)行的任務隊列

• 通過 run.py 腳本調(diào)用 celery 向隊列壓入任務

• 通過 flower 的 http api 腳本調(diào)用 api 向隊列壓入任務

• 任務執(zhí)行的結(jié)果自動存入后端數(shù)據(jù)庫

運行環(huán)境：

• CentOS、Kali Linux、Ubuntu、Debian

• Python 2.7.x

• Redis

• MysQL

• Celery

• Tornado

• Supervisord