鑄龍用戶行為分析系統(tǒng)
鑄龍是一款用于分析用戶行為事件的 BI 軟件。
特點(diǎn)如下
- 事件分析
- 埋點(diǎn)上報(bào)
- 漏斗分析
- 留存分析
- 智能路徑分析
- 報(bào)表，面板管理
- 多平臺(tái)部署，直接二進(jìn)制部署無需搭建環(huán)境
技術(shù)棧主要用
- mysql
- redis
- kafka
- clickhouse
系統(tǒng)組成
- 該系統(tǒng)分為以下四部分
- 埋點(diǎn)上報(bào)sdk
- report_server
- sinker
- manager
- 埋點(diǎn)上報(bào)sdk： 用于采集埋點(diǎn)信息，目前SDK支持類型
- web
- cocos creator
- egert
- report_server：用于收集sdk上報(bào)的信息，并生產(chǎn)消息入kafka
- sinker：消費(fèi)kafka的埋點(diǎn)消息并入庫
- manager：基于入庫后的埋點(diǎn)數(shù)據(jù)進(jìn)行分析，報(bào)表。
部署
部署文件下載地址為 https://gitee.com/cynthia520/xwl_bi/releases/v1.0.0
- 下載sdk.zip，解壓縮 如下圖所
下面我們拿web為例子 步驟如下
1. 打開web文件夾后有如下js文件
<script type="text/javascript" src="report_sdk.js" ></script>
<script type="text/javascript" >
let parmas = {"appid":"********","appkey":"********"}
let eventReport = new EventReport("http://127.0.0.1:8091", parmas["appid"], parmas["appkey"], 0)
eventReport.track("訪問鑄龍BI文檔",{feeling:"Hello World!"})
</script>
- 下載對(duì)應(yīng)操作系統(tǒng)的壓縮包，如windows系統(tǒng)則下載win.zip,解壓縮后有如下文件
-
- 修改 config文件夾下的config.json
具體配置項(xiàng)解釋如下
{ "manager": { //bi管理系統(tǒng)配置模塊 "port": 8090, //啟動(dòng)端口 "jwtSecret": "[email protected]", //jwt密鑰 "deBug": true //是否為調(diào)試模式 ，非調(diào)試模式會(huì)調(diào)用瀏覽器打開bi訪問地址 }, "report": { //上報(bào)服務(wù)模塊 "reportPort":8091, //啟動(dòng)端口 "readTimeout":20, //讀超時(shí)時(shí)間，單位（秒）（不填則不受限制） "writeTimeout":20, //寫超時(shí)時(shí)間，單位（秒）（不填則不受限制） "maxConnsPerIP":100000, //每個(gè)IP允許的最大并發(fā)客戶端連接數(shù)（不填則不受限制） "maxRequestsPerConn":100000, //每個(gè)連接服務(wù)的最大請(qǐng)求數(shù)（不填則不受限制） "idleTimeout":20, //等待消息的最長(zhǎng)時(shí)間，如果為零，則使用readTimeout的值。 "userAgentBanList":["mpcrawler"] //不允許訪問的userAgent請(qǐng)求頭 , 例如 demo中的 mpcrawler 是微信小程序機(jī)器人的 userAgent }, "sinker": { //sinker模塊 "reportAcceptStatus":{ //上報(bào)數(shù)據(jù)狀態(tài)入庫（入庫 CK） "bufferSize": 999, //入庫批次數(shù)量 "flushInterval": 2 //入庫輪循間隔時(shí)間（秒） }, "reportData2CK":{ //上報(bào)數(shù)據(jù)入庫（入庫 CK） "bufferSize": 1000, //入庫批次數(shù)量 "flushInterval": 2 //入庫輪循間隔時(shí)間（秒） }, "realTimeWarehousing":{ //實(shí)時(shí)數(shù)據(jù)入庫（入庫 ES） "bufferSize": 1000, //入庫批次數(shù)量 "flushInterval": 2 //入庫輪循間隔時(shí)間（秒） }, "pprofHttpPort": 8093 //pprof性能檢測(cè)端口 }, "comm": { //公用模塊 "log": { //日志模塊 "storageDays":4, //存放天數(shù) "logDir":"logs" //存放目標(biāo)文件夾 }, "mysql": { //mysql模塊 "username":"root", //用戶名 "pwd":"123456", //密碼 "ip":"127.0.0.1", //ip "port":"3306", //端口 "dbName":"lyn_bi", //數(shù)據(jù)庫名 "maxOpenConns":10, //連接池最大打開數(shù) "maxIdleConns":10 //連接池初始化閑置數(shù) }, "clickhouse": { //clickhouse模塊 "username":"default", //用戶名 沒有則不填 "pwd":"EtHnvllx", //密碼 沒有則不填 "ip":"127.0.0.1", //IP "port":"9000", //端口 "dbName":"default", //數(shù)據(jù)庫名 "clusterName":"perftest_3shards_1replicas", //集群名 單機(jī)CK則不填 "macrosShardKeyName":"share", //metrika.xml 的share key名 單機(jī)CK則不填 //例如： <macros> //<share>1</share> // <replica>192.168.1.236</replica> //</macros> //則 macrosShardKeyName 填share "macrosReplicaKeyName":"replica", //metrika.xml 的replica key名 單機(jī)CK則不填 "maxOpenConns":100, //連接池最大打開數(shù) "maxIdleConns":1000 //連接池初始化閑置數(shù) }, "kafka": { //kakfa 模塊 "addresses":["127.0.0.1:9092"], //訪問地址 "username":"", //用戶名 "password":"", //密碼 "numPartitions":300, //初始化 埋點(diǎn)數(shù)據(jù)topic分區(qū)數(shù) "debugDataTopicName": "debugDataTopicName", //測(cè)試模式下 測(cè)試埋點(diǎn)數(shù)據(jù)的topic名 "debugDataGroup": "debugDataGroup", //測(cè)試模式下 測(cè)試埋點(diǎn)數(shù)據(jù)的消費(fèi)者組名 "reportTopicName": "test005", //埋點(diǎn)數(shù)據(jù)的topic名 "reportData2CKGroup": "reportData2CKGroup2", //埋點(diǎn)數(shù)據(jù)的消費(fèi)者組名（入庫 CK） "realTimeDataGroup": "realTimeDataGroup2", //實(shí)時(shí)數(shù)據(jù)的消費(fèi)者組名（入庫 ES） "producer_type":"async", //kafka生產(chǎn)者類型 async 為異步模式 sync 為同步模式 ，不填為async }, "redis": { //redis模塊 "addr":"127.0.0.1:6379", //訪問地址 "passwd":"", //密碼 "db": 7, //庫名 "maxIdle": 300, //連接池初始化閑置數(shù) "maxActive": 0 //連接池所能分配的最大的連接數(shù)目 ，當(dāng)設(shè)置成0的時(shí)候，該連接池連接數(shù)沒有限制 } } } -
啟動(dòng) windows環(huán)境 則雙擊 應(yīng)用名.exe linux環(huán)境則 chmod +x 應(yīng)用名 && ./應(yīng)用名
- init_app
顯示 “數(shù)據(jù)已全部初始化完畢！”則為正常啟動(dòng)
- manager
啟動(dòng)后顯示下圖則為正常啟動(dòng)
report_server啟動(dòng)后顯示下圖則為正常啟動(dòng)
- sinker
啟動(dòng)后顯示下圖則為正常啟動(dòng)
至此，服務(wù)端已配置完畢
評(píng)論
圖片
表情