企業(yè)埋點(diǎn)體系搭建

然后今天話我們給大家分享的內(nèi)容有四大塊。

1、什么是用戶行為數(shù)據(jù)及其重要性

2、如何在公司里面去搭建采集體系

3、如何規(guī)范這個(gè)埋點(diǎn)的業(yè)務(wù)

4、我們常見的工具以其他人的產(chǎn)品有哪些

通過這幾個(gè)部分了解到在一個(gè)中大型的公司里面去完成一個(gè)數(shù)據(jù)平臺(tái)，以數(shù)據(jù)采集體系平臺(tái)的搭建這個(gè)完整流程，在一個(gè)小公司中借用一些開源的工具以及第三方的 SaaS 的服務(wù)，能夠進(jìn)行一個(gè)簡單的行為分析平臺(tái)的搭建。

比如說今天中午 11: 50 的時(shí)候，在這個(gè)美團(tuán)的首頁進(jìn)行了一個(gè)外賣按鈕的點(diǎn)擊。那這個(gè)時(shí)候話美團(tuán)公司它會(huì)記錄到我中午十五十一點(diǎn)五十分在這個(gè)美團(tuán) APP 的首頁，點(diǎn)擊了這個(gè)外賣的按鈕，然后會(huì)傳一條信息包含類似截圖右側(cè)的格式數(shù)據(jù)就會(huì)發(fā)送給這個(gè)美團(tuán)的服務(wù)器。

所以我們?cè)谶@個(gè)不管是 APP 也好，還是比如說這個(gè) APP 或者是我們?cè)诰W(wǎng)頁上面，我們?cè)诩依锩?B 站上看這個(gè) PC 端的視頻，這些所有的這個(gè)行為話都會(huì)被記錄下來。這一些數(shù)據(jù)就是我們所說的行為數(shù)據(jù)。

1、最簡單的話我們會(huì)去做這個(gè)公司里面的產(chǎn)品迭代，然后功能模塊使用分析。

2、是說我們做了一個(gè)線上的活動(dòng)，然后使用這一些數(shù)據(jù)來進(jìn)行評(píng)估。

3、使用用戶的行為數(shù)據(jù)，去做用戶畫像

4、根據(jù)這個(gè)用戶的偏好去推薦廣告

這個(gè)是用戶的行為數(shù)據(jù)，它常見的應(yīng)用的場景這一塊話，相信大家在公司里面最常見的應(yīng)該是第一個(gè)跟第二個(gè)就是我用這個(gè)數(shù)據(jù)去衡量上線的好壞，這個(gè)是他的應(yīng)用場景會(huì)有這一些。

在整個(gè)過程中有三個(gè)重要的因素

• 資源
  

• 人員
  

• 流程規(guī)范

在埋點(diǎn)采集到應(yīng)用過程中涉及到各個(gè)不同角色相互配合，會(huì)有各自的分工。

從業(yè)務(wù)需求方開始。比如說市場運(yùn)營產(chǎn)品開始提需求，數(shù)據(jù)產(chǎn)品根據(jù)產(chǎn)品對(duì)這個(gè)業(yè)務(wù)同學(xué)這里的需求進(jìn)行評(píng)審以后，梳理出這個(gè)用戶的業(yè)務(wù)路徑，然后抽象出場景組件，完成這個(gè)指標(biāo)體系的搭建。輸出埋點(diǎn)的需求文檔 DRD 然后我們把這個(gè)文檔交付給到開發(fā)。

開發(fā)這里的話會(huì)把埋點(diǎn)需求文檔跟產(chǎn)品技術(shù)文檔一樣，做一個(gè)需求的可行性方案優(yōu)先級(jí)一個(gè)評(píng)審這個(gè)埋點(diǎn)能不能做，這個(gè)數(shù)據(jù)能不能采集，采集采集的量有多大等等

關(guān)于埋點(diǎn)需求文檔展開一些細(xì)節(jié)講講

上面這個(gè)是一個(gè)比較典型的埋點(diǎn)需求文檔樣例，包含事件名、屬性信息、觸發(fā)時(shí)機(jī)、示例等等基礎(chǔ)的埋點(diǎn)信息，在實(shí)際設(shè)計(jì)埋點(diǎn)需求文檔時(shí)需要考慮命名的規(guī)范、屬性信息的復(fù)用等等。

目前一般有通過采購和自研 以及采購后增加自研進(jìn)行

接下來是說我們?cè)诠ぞ呱厦鏁?huì)有兩種實(shí)現(xiàn)的路線。第一種我們是基本上有非常多的第三方的數(shù)據(jù)治理、數(shù)據(jù)可視化、數(shù)據(jù)監(jiān)測的這種工具。

第二種以自研為主的實(shí)現(xiàn)方式

中間會(huì)有幾個(gè)關(guān)鍵的環(huán)節(jié)，數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)（含計(jì)算引擎）、數(shù)據(jù)可視化

• 數(shù)據(jù)采集

對(duì)行為數(shù)據(jù)采集部分我們一般封裝為埋點(diǎn)采集的 SDK，然后嵌入到不同的客戶端中。SDK 的作用在于封裝好一些公共的參數(shù)信息、上報(bào)方式以及幫助各端開發(fā)簡化數(shù)據(jù)上報(bào)的過程。同時(shí)也在基礎(chǔ)層面上支持類似可視化埋點(diǎn)、圈選埋點(diǎn)、全埋點(diǎn)等不同的埋點(diǎn)方式。

• 數(shù)據(jù)存儲(chǔ)（含計(jì)算引擎）

在行為分析領(lǐng)域里面，現(xiàn)在最熱門的是使用 Clickhouse 做存儲(chǔ)及計(jì)算引擎，這個(gè)筆者所在公司，每日千億級(jí)別的數(shù)據(jù)增量可以比較高效從容的進(jìn)行行為數(shù)據(jù)分析。對(duì)于數(shù)據(jù)并沒有那么大的公司也可以根據(jù)自身情況選擇諸如 Durid、Impala等計(jì)算引擎

• 數(shù)據(jù)可視化

分析的結(jié)果在大部分團(tuán)隊(duì)內(nèi)部都希望能以可直觀查看的方式進(jìn)行展示，包括一些簡單的圖表、數(shù)據(jù)看板等。這部分如果選擇完全自研的話成本比較高，一般的處理方式有兩種，一種采用開源的圖表組件進(jìn)行二次開發(fā)，例如使用范圍比較廣的 Echarts、AntV 等進(jìn)行定制化的圖表開發(fā)。另外也可以直接在上游的分計(jì)算引擎上直接接入傳統(tǒng)意義上的 BI 可視化產(chǎn)品進(jìn)行最終數(shù)據(jù)結(jié)果的展示。

這類產(chǎn)品開源和和商用的都比較豐富，國內(nèi)大多是以敏捷 BI 的Title宣傳，在開源側(cè)則可以選擇使用受眾比較多的 Superset和 Metabase，前者功能豐富，后者顏值交互更高。

針對(duì)如何規(guī)范埋點(diǎn)業(yè)務(wù)，我們也是從組織和工具兩方面進(jìn)行，組織層面上我們劃分為業(yè)務(wù)相關(guān)和技術(shù)相關(guān)，各自都需要一個(gè)關(guān)鍵對(duì)接人。

• 對(duì)業(yè)務(wù)對(duì)接人

業(yè)務(wù)對(duì)接人主要是對(duì)業(yè)務(wù)需求的匯總抽象，高效的設(shè)計(jì)埋點(diǎn)采集事件及公共參數(shù)等。提升整體數(shù)據(jù)采集的可復(fù)用性和規(guī)范。這個(gè)角色也需要一些比較突出的特質(zhì) 既要有數(shù)據(jù)相關(guān)的基礎(chǔ)，又要業(yè)務(wù)流程熟悉，能幫助業(yè)務(wù)產(chǎn)品梳理清楚需要采集的數(shù)據(jù)內(nèi)容，查看的指標(biāo)范圍。

• 技術(shù)對(duì)接人

對(duì)技術(shù)對(duì)接人來說，核心職責(zé)是能在采集上報(bào)層面做到技術(shù)高效實(shí)現(xiàn)。借助開源或者自研的埋點(diǎn)采集 SDK 完成數(shù)據(jù)底層支持。

整個(gè)實(shí)操過程中需要有相關(guān)工具產(chǎn)品的支持

• 埋點(diǎn)管理

在初期階段使用在線表格文檔方式進(jìn)行管理，后期逐步開發(fā)穩(wěn)定的后臺(tái)產(chǎn)品并且和埋點(diǎn)分析下游使用數(shù)據(jù)方的系統(tǒng)打通，方便埋點(diǎn)元數(shù)據(jù)信息對(duì)接。

• 埋點(diǎn)開發(fā)

這塊最簡單的方式就是使用代碼埋點(diǎn)，比如點(diǎn)擊綁定 Onclick 函數(shù)上報(bào)自定的字段信息，進(jìn)階后使用全埋點(diǎn)、可視化圈選埋點(diǎn)等方式提升埋點(diǎn)采集效率

• 埋點(diǎn)測試

埋點(diǎn)測試是在開發(fā)完了以后需要在測試工具上去做數(shù)據(jù)的驗(yàn)證。最原始的就是去做人肉的view， 就是我們拿一個(gè)小板凳蹲到開發(fā)工位旁邊去看一下這個(gè)代碼，它觸發(fā)你看數(shù)據(jù)，這個(gè)對(duì)不對(duì)？這個(gè)是最原始的。另外有Kibana 之類的查詢工具可以協(xié)助快速的做埋點(diǎn)日志的查詢提供簡單的可視化展示。另外也可以嘗試做自動(dòng)化測試，自動(dòng) mock 數(shù)據(jù)生成測試報(bào)告，版本回歸測試效率都極高。

整個(gè)環(huán)節(jié)的話就講完了，然后會(huì)有幾個(gè)不同的文檔跟工具，這個(gè)會(huì)的話給大家分享一下我們常見的工具跟市面上可以用的開源的產(chǎn)品。

我這邊分了三個(gè)類型給大家分享列出來

• 第一個(gè)是行為分析的產(chǎn)品

國內(nèi)外都有很多行為分析產(chǎn)品可以采買，但是每家的擅長點(diǎn)以及費(fèi)用都略有不同，可以試用一下相關(guān)的產(chǎn)品然后決定是否采購

• 第二個(gè)是通用的 BI 的工具

這類產(chǎn)品在數(shù)據(jù)平臺(tái)搭建的時(shí)候也是非常重要，通常我們?cè)诔跗跁?huì)將行為數(shù)據(jù)和 BI 工具合并在一起進(jìn)行業(yè)務(wù)支持，到后期后會(huì)拆分出來成為兩條不同的業(yè)務(wù)產(chǎn)品線。

• 第三個(gè)是數(shù)據(jù)整合服務(wù)商

  
  

總的來說在一個(gè)團(tuán)隊(duì)里面搭建一個(gè)埋點(diǎn)采集到應(yīng)用的體系有多種實(shí)現(xiàn)的路徑和方法，并不存在最好，只有在當(dāng)前階段最合適的方案。選擇合適的方法，再配合適當(dāng)?shù)倪\(yùn)營落地實(shí)現(xiàn)動(dòng)作便可以完成對(duì)業(yè)務(wù)的高效支撐。希望以上的分享對(duì)各位有所幫助。

(歡迎大家加入數(shù)據(jù)工匠知識(shí)星球獲取更多資訊。)

了解更多精彩內(nèi)容

長按，識(shí)別二維碼，關(guān)注我們吧！

數(shù)據(jù)工匠俱樂部

微信號(hào)：zgsjgjjlb

專注數(shù)據(jù)治理，推動(dòng)大數(shù)據(jù)發(fā)展。