企業(yè)埋點(diǎn)體系搭建

然后今天話我們給大家分享的內(nèi)容有四大塊。

1、什么是用戶(hù)行為數(shù)據(jù)及其重要性

2、如何在公司里面去搭建采集體系

3、如何規(guī)范這個(gè)埋點(diǎn)的業(yè)務(wù)

4、我們常見(jiàn)的工具以其他人的產(chǎn)品有哪些

通過(guò)這幾個(gè)部分了解到在一個(gè)中大型的公司里面去完成一個(gè)數(shù)據(jù)平臺(tái)，以數(shù)據(jù)采集體系平臺(tái)的搭建這個(gè)完整流程，在一個(gè)小公司中借用一些開(kāi)源的工具以及第三方的 SaaS 的服務(wù)，能夠進(jìn)行一個(gè)簡(jiǎn)單的行為分析平臺(tái)的搭建。

比如說(shuō)今天中午 11: 50 的時(shí)候，在這個(gè)美團(tuán)的首頁(yè)進(jìn)行了一個(gè)外賣(mài)按鈕的點(diǎn)擊。那這個(gè)時(shí)候話美團(tuán)公司它會(huì)記錄到我中午十五十一點(diǎn)五十分在這個(gè)美團(tuán) APP 的首頁(yè)，點(diǎn)擊了這個(gè)外賣(mài)的按鈕，然后會(huì)傳一條信息包含類(lèi)似截圖右側(cè)的格式數(shù)據(jù)就會(huì)發(fā)送給這個(gè)美團(tuán)的服務(wù)器。

所以我們?cè)谶@個(gè)不管是 APP 也好，還是比如說(shuō)這個(gè) APP 或者是我們?cè)诰W(wǎng)頁(yè)上面，我們?cè)诩依锩?B 站上看這個(gè) PC 端的視頻，這些所有的這個(gè)行為話都會(huì)被記錄下來(lái)。這一些數(shù)據(jù)就是我們所說(shuō)的行為數(shù)據(jù)。

1、最簡(jiǎn)單的話我們會(huì)去做這個(gè)公司里面的產(chǎn)品迭代，然后功能模塊使用分析。

2、是說(shuō)我們做了一個(gè)線上的活動(dòng)，然后使用這一些數(shù)據(jù)來(lái)進(jìn)行評(píng)估。

3、使用用戶(hù)的行為數(shù)據(jù)，去做用戶(hù)畫(huà)像

4、根據(jù)這個(gè)用戶(hù)的偏好去推薦廣告

這個(gè)是用戶(hù)的行為數(shù)據(jù)，它常見(jiàn)的應(yīng)用的場(chǎng)景這一塊話，相信大家在公司里面最常見(jiàn)的應(yīng)該是第一個(gè)跟第二個(gè)就是我用這個(gè)數(shù)據(jù)去衡量上線的好壞，這個(gè)是他的應(yīng)用場(chǎng)景會(huì)有這一些。

在整個(gè)過(guò)程中有三個(gè)重要的因素

• 資源
  

• 人員
  

• 流程規(guī)范

在埋點(diǎn)采集到應(yīng)用過(guò)程中涉及到各個(gè)不同角色相互配合，會(huì)有各自的分工。

從業(yè)務(wù)需求方開(kāi)始。比如說(shuō)市場(chǎng)運(yùn)營(yíng)產(chǎn)品開(kāi)始提需求，數(shù)據(jù)產(chǎn)品根據(jù)產(chǎn)品對(duì)這個(gè)業(yè)務(wù)同學(xué)這里的需求進(jìn)行評(píng)審以后，梳理出這個(gè)用戶(hù)的業(yè)務(wù)路徑，然后抽象出場(chǎng)景組件，完成這個(gè)指標(biāo)體系的搭建。輸出埋點(diǎn)的需求文檔 DRD 然后我們把這個(gè)文檔交付給到開(kāi)發(fā)。

開(kāi)發(fā)這里的話會(huì)把埋點(diǎn)需求文檔跟產(chǎn)品技術(shù)文檔一樣，做一個(gè)需求的可行性方案優(yōu)先級(jí)一個(gè)評(píng)審這個(gè)埋點(diǎn)能不能做，這個(gè)數(shù)據(jù)能不能采集，采集采集的量有多大等等

關(guān)于埋點(diǎn)需求文檔展開(kāi)一些細(xì)節(jié)講講

上面這個(gè)是一個(gè)比較典型的埋點(diǎn)需求文檔樣例，包含事件名、屬性信息、觸發(fā)時(shí)機(jī)、示例等等基礎(chǔ)的埋點(diǎn)信息，在實(shí)際設(shè)計(jì)埋點(diǎn)需求文檔時(shí)需要考慮命名的規(guī)范、屬性信息的復(fù)用等等。

目前一般有通過(guò)采購(gòu)和自研 以及采購(gòu)后增加自研進(jìn)行

接下來(lái)是說(shuō)我們?cè)诠ぞ呱厦鏁?huì)有兩種實(shí)現(xiàn)的路線。第一種我們是基本上有非常多的第三方的數(shù)據(jù)治理、數(shù)據(jù)可視化、數(shù)據(jù)監(jiān)測(cè)的這種工具。

第二種以自研為主的實(shí)現(xiàn)方式

中間會(huì)有幾個(gè)關(guān)鍵的環(huán)節(jié)，數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)（含計(jì)算引擎）、數(shù)據(jù)可視化

• 數(shù)據(jù)采集

對(duì)行為數(shù)據(jù)采集部分我們一般封裝為埋點(diǎn)采集的 SDK，然后嵌入到不同的客戶(hù)端中。SDK 的作用在于封裝好一些公共的參數(shù)信息、上報(bào)方式以及幫助各端開(kāi)發(fā)簡(jiǎn)化數(shù)據(jù)上報(bào)的過(guò)程。同時(shí)也在基礎(chǔ)層面上支持類(lèi)似可視化埋點(diǎn)、圈選埋點(diǎn)、全埋點(diǎn)等不同的埋點(diǎn)方式。

• 數(shù)據(jù)存儲(chǔ)（含計(jì)算引擎）

在行為分析領(lǐng)域里面，現(xiàn)在最熱門(mén)的是使用 Clickhouse 做存儲(chǔ)及計(jì)算引擎，這個(gè)筆者所在公司，每日千億級(jí)別的數(shù)據(jù)增量可以比較高效從容的進(jìn)行行為數(shù)據(jù)分析。對(duì)于數(shù)據(jù)并沒(méi)有那么大的公司也可以根據(jù)自身情況選擇諸如 Durid、Impala等計(jì)算引擎

• 數(shù)據(jù)可視化

分析的結(jié)果在大部分團(tuán)隊(duì)內(nèi)部都希望能以可直觀查看的方式進(jìn)行展示，包括一些簡(jiǎn)單的圖表、數(shù)據(jù)看板等。這部分如果選擇完全自研的話成本比較高，一般的處理方式有兩種，一種采用開(kāi)源的圖表組件進(jìn)行二次開(kāi)發(fā)，例如使用范圍比較廣的 Echarts、AntV 等進(jìn)行定制化的圖表開(kāi)發(fā)。另外也可以直接在上游的分計(jì)算引擎上直接接入傳統(tǒng)意義上的 BI 可視化產(chǎn)品進(jìn)行最終數(shù)據(jù)結(jié)果的展示。

這類(lèi)產(chǎn)品開(kāi)源和和商用的都比較豐富，國(guó)內(nèi)大多是以敏捷 BI 的Title宣傳，在開(kāi)源側(cè)則可以選擇使用受眾比較多的 Superset和 Metabase，前者功能豐富，后者顏值交互更高。

針對(duì)如何規(guī)范埋點(diǎn)業(yè)務(wù)，我們也是從組織和工具兩方面進(jìn)行，組織層面上我們劃分為業(yè)務(wù)相關(guān)和技術(shù)相關(guān)，各自都需要一個(gè)關(guān)鍵對(duì)接人。

• 對(duì)業(yè)務(wù)對(duì)接人

業(yè)務(wù)對(duì)接人主要是對(duì)業(yè)務(wù)需求的匯總抽象，高效的設(shè)計(jì)埋點(diǎn)采集事件及公共參數(shù)等。提升整體數(shù)據(jù)采集的可復(fù)用性和規(guī)范。這個(gè)角色也需要一些比較突出的特質(zhì) 既要有數(shù)據(jù)相關(guān)的基礎(chǔ)，又要業(yè)務(wù)流程熟悉，能幫助業(yè)務(wù)產(chǎn)品梳理清楚需要采集的數(shù)據(jù)內(nèi)容，查看的指標(biāo)范圍。

• 技術(shù)對(duì)接人

對(duì)技術(shù)對(duì)接人來(lái)說(shuō)，核心職責(zé)是能在采集上報(bào)層面做到技術(shù)高效實(shí)現(xiàn)。借助開(kāi)源或者自研的埋點(diǎn)采集 SDK 完成數(shù)據(jù)底層支持。

整個(gè)實(shí)操過(guò)程中需要有相關(guān)工具產(chǎn)品的支持

• 埋點(diǎn)管理

在初期階段使用在線表格文檔方式進(jìn)行管理，后期逐步開(kāi)發(fā)穩(wěn)定的后臺(tái)產(chǎn)品并且和埋點(diǎn)分析下游使用數(shù)據(jù)方的系統(tǒng)打通，方便埋點(diǎn)元數(shù)據(jù)信息對(duì)接。

• 埋點(diǎn)開(kāi)發(fā)

這塊最簡(jiǎn)單的方式就是使用代碼埋點(diǎn)，比如點(diǎn)擊綁定 Onclick 函數(shù)上報(bào)自定的字段信息，進(jìn)階后使用全埋點(diǎn)、可視化圈選埋點(diǎn)等方式提升埋點(diǎn)采集效率

• 埋點(diǎn)測(cè)試

埋點(diǎn)測(cè)試是在開(kāi)發(fā)完了以后需要在測(cè)試工具上去做數(shù)據(jù)的驗(yàn)證。最原始的就是去做人肉的view， 就是我們拿一個(gè)小板凳蹲到開(kāi)發(fā)工位旁邊去看一下這個(gè)代碼，它觸發(fā)你看數(shù)據(jù)，這個(gè)對(duì)不對(duì)？這個(gè)是最原始的。另外有Kibana 之類(lèi)的查詢(xún)工具可以協(xié)助快速的做埋點(diǎn)日志的查詢(xún)提供簡(jiǎn)單的可視化展示。另外也可以嘗試做自動(dòng)化測(cè)試，自動(dòng) mock 數(shù)據(jù)生成測(cè)試報(bào)告，版本回歸測(cè)試效率都極高。

整個(gè)環(huán)節(jié)的話就講完了，然后會(huì)有幾個(gè)不同的文檔跟工具，這個(gè)會(huì)的話給大家分享一下我們常見(jiàn)的工具跟市面上可以用的開(kāi)源的產(chǎn)品。

我這邊分了三個(gè)類(lèi)型給大家分享列出來(lái)

• 第一個(gè)是行為分析的產(chǎn)品

國(guó)內(nèi)外都有很多行為分析產(chǎn)品可以采買(mǎi)，但是每家的擅長(zhǎng)點(diǎn)以及費(fèi)用都略有不同，可以試用一下相關(guān)的產(chǎn)品然后決定是否采購(gòu)

• 第二個(gè)是通用的 BI 的工具

這類(lèi)產(chǎn)品在數(shù)據(jù)平臺(tái)搭建的時(shí)候也是非常重要，通常我們?cè)诔跗跁?huì)將行為數(shù)據(jù)和 BI 工具合并在一起進(jìn)行業(yè)務(wù)支持，到后期后會(huì)拆分出來(lái)成為兩條不同的業(yè)務(wù)產(chǎn)品線。

• 第三個(gè)是數(shù)據(jù)整合服務(wù)商

  
  

總的來(lái)說(shuō)在一個(gè)團(tuán)隊(duì)里面搭建一個(gè)埋點(diǎn)采集到應(yīng)用的體系有多種實(shí)現(xiàn)的路徑和方法，并不存在最好，只有在當(dāng)前階段最合適的方案。選擇合適的方法，再配合適當(dāng)?shù)倪\(yùn)營(yíng)落地實(shí)現(xiàn)動(dòng)作便可以完成對(duì)業(yè)務(wù)的高效支撐。希望以上的分享對(duì)各位有所幫助。

埋點(diǎn)相關(guān)資料、工具表格點(diǎn)擊下方文字鏈接預(yù)覽

【埋點(diǎn)】相關(guān)資料匯總

• [PPT福利領(lǐng)取】分享一些高大上、有逼格的PPT模板

• 大數(shù)據(jù)分析方法及工具應(yīng)用(埃森哲).PPT（附下載）
  

• [數(shù)據(jù)產(chǎn)品筆記】二、數(shù)據(jù)可視化設(shè)計(jì)規(guī)范
  

• 2021年讓我們做個(gè)深度思考的人

• 超級(jí)PPT福利貼 | 免費(fèi)PPT素材資源領(lǐng)取

• [阿里首次公開(kāi)]-數(shù)據(jù)中臺(tái)實(shí)踐完整版（附下載）

• 用過(guò)往的經(jīng)歷，聊聊數(shù)據(jù)分析這個(gè)職業(yè)