如何設計出一個高效的埋點管理系統(tǒng)？
埋點相關資點擊：【埋點】相關資料匯總
為什么要做埋點管理系統(tǒng)？
備注：如果您已經知道為什么要做埋點管理系統(tǒng)了，可以直接跳去第三節(jié)看埋點管理系統(tǒng)的建設過程。如果還沒有很好的了解過埋點管理系統(tǒng)，建議從頭開始讀起，本文章小長，但是一定有干貨哦，建議好好讀完！
如果你是一名數據分析師，是否有過這樣的經歷，當你需要查詢APP產品埋點數據的時候，你不得不經常找數據產品經理去確認是否已有埋點，埋了哪些字段，是否已有上報數據等，常常這些埋點事件元信息分散在多個產品經理手上，信息散亂，分析師使用埋點數據之前溝通成本極高，影響數據使用的效率……
不僅如此，我們還會遇到埋點數據異常，追溯埋點歷史問題過程也是非常的漫長，需要數據產品經理去跟業(yè)務產品經理確認埋點需求的版本，然后數據產品經理確認埋點設計需求的批次，然后給到開發(fā)，開發(fā)同事再去查找問題……
以上種種問題場景相信大家都經歷過，且一直是困擾著我們的痛點。
埋點場景的痛點我總結為以下5點：
埋點需求及埋點設計文檔管理散亂，產品，開發(fā)，測試協(xié)同溝通效率低下，嚴重影響工作效率
埋點事件元信息管理散亂，常是分布在多個產品經理手上，分析師使用埋點數據時需要查詢埋點需求及埋點事件的元信息這個過程鏈路長，溝通成本非常高，埋點元信息使用查詢極其不便利
若出現(xiàn)埋點數據異常問題，若開發(fā)同事需要追溯埋點歷史數據，則更是需要有當時的埋點需求批次和埋點設計文檔作為輔助，這時候的埋單需求文檔和埋點元信息的統(tǒng)一管理，對于歷史問題追溯問題的效率有極其大的幫助。
非可視化測試，驗收埋點難度太大。
每次都要跑去數據庫了查詢，對于沒有寫SQL基礎的業(yè)務經理來說，驗收埋點數據的效率就會比埃及地下。
數據校驗流程混亂，版本管理難度大，開發(fā)同學常常要自己開發(fā)一個后臺管理功能來管理埋點發(fā)布或下線的版本
埋點管理系統(tǒng)是什么？
有沒有比較好的方法解決以上問題呢，答案是有的！就是我們下面要介紹的埋點管理系統(tǒng)。埋點管理系統(tǒng)是做什么用的？埋點管理系統(tǒng)為啥在數據產品體系中相對少聽到，為什么業(yè)內也沒有非常出名和成熟的產品？
埋點管理系統(tǒng)本質是解決數據采集及數據使用場景問題的業(yè)務系統(tǒng)，業(yè)務方則是數據產品、數據開發(fā)工程師、數據分析師等數據團隊的人員。
在業(yè)務尚處于快速發(fā)展的階段，數據團隊的領導更多關注的是為業(yè)務團隊提供數據產品，而通過給數據團隊提供數據工具來提升數據服務的效率，這個問題一般是在數據團隊的服務能力相對穩(wěn)定和成熟之后才會去落地。也就是當大家的KPI都是在滿足業(yè)務的數據需求的時候，只要有可替代的方案，領導會更愿意暫時用著替代方案去解決這個問痛。
比較常見的例子，數據分析師在業(yè)務處于快速發(fā)展的階段就大概率只讓你取數，未必讓你真正的去做業(yè)務數據分析的活兒。等數據取數這類需求達到一定的數量，老板才會想著去開發(fā)可視化類的取數工具，幫助數據分析師從大量的數據查詢和報表開發(fā)的工作解脫出來，去做更加有價值的業(yè)務專題分析的工作。
回到主題，埋點管理系統(tǒng)也常常會等到埋點需求非常多，從埋點需求產出端到埋點需求使用方都感覺到這個合作流程已經影響了整體的工作效率的時候，埋點管理系統(tǒng)才會被老板想到，這個工具是否可以替代原本的零散和低效的協(xié)同模式來提高大家的工作效率。所以，埋點管理系統(tǒng)本身是一個提升數據同事工作效率的工具。
埋點管理系統(tǒng)能解決問題主要有以下5點：
通過統(tǒng)一管理應用產品及埋點設計，解決了埋點需求及埋點設計管理散亂，產品團隊、開發(fā)團及測試團隊，數據應用團隊的協(xié)同溝通效率低下問題。
通過統(tǒng)一管理埋點事件的元信息，解決了數據應用場景中需要高頻及便利的查詢查詢埋點事件元信息問題。
通過統(tǒng)一的埋點需求管理及事件元信息管理，解決了開發(fā)同事在遇到埋點數據異常需要追溯歷史埋點。
通過可視化抓包，解決了埋點數據驗收的重度依賴數據庫查詢的相對低效的方法。
通過可視化對比校驗和發(fā)布／下線能力，解決了開發(fā)同事單獨管理埋點需求的版本及發(fā)布場景問題，并有明確的數據校驗流程，從而間接提升數據質量的管理。
如何設計埋點管理系統(tǒng)？
01
業(yè)務流程確認
說了埋點管理系統(tǒng)能解決的問題，接下來聊聊埋點管理系統(tǒng)長啥樣，如何才能設計出解決我們以上問題的埋點管理系統(tǒng)。在此之前，我們先了解埋點場景的業(yè)務流程：
圖一：埋點業(yè)務流程圖1
接下來將按照埋點涉及的角色和流程節(jié)點兩個維度一起闡述：
在需求階段：業(yè)務團隊跟數據產品團隊提出埋點需求，數據產品團隊會根據用戶的當期及未來的統(tǒng)計需求，確認增加哪些埋點，并通過拆解埋點需求指標，輸出埋點設計文檔；而后，產品團隊跟大數據開發(fā)團隊進行埋帶設計需求的評審，評審通過之后再上線開發(fā)。
埋點開發(fā)階段：開發(fā)團隊同事按照數據產品經理提供的已評審過的埋點設計文檔進行開發(fā)；開發(fā)自測完成后會提測給測試同事，測試同事按照埋點設計文檔進行功能和數據的測試；測試通過后，數據產品經理將進行埋點驗收，產品經理不但要按照埋點設計文檔驗收事件及事件參數的完整性，也要去數據哭驗收埋點數據的準確性。
埋點應用階段：埋點上線后，數據分析團隊就可以直接去按照埋點設計文檔去數據庫查詢提取埋點數據進行分析應用了。這個過程，分析師一般需要先跟產品經理先過一遍新上的埋點設計文檔后再開始使用數據。
埋點回收階段：埋點也是有生命周期的，有開始時間也會有結束時間。若產品已經下線，且后期將長期不再需要使用這些用戶行為數據了，基于海量數據存儲成本和資源浪費力的角度考量，企業(yè)會愿意將這類埋點下線。一般并不會直接下線，標識上可以下線的標識后，一般過3-6個月依然不再被范圍調用，則執(zhí)行下線。
02
系統(tǒng)功能確認
業(yè)務流程確認了，我們就在對應的業(yè)務流程上增加產品功能模塊去承載每個業(yè)務流程節(jié)點的需求，如下圖：
圖二：埋點業(yè)務流程圖2
03
系統(tǒng)功能架構
通過埋點業(yè)務流程的梳理，得出了多個系統(tǒng)功能模塊，拆解出來的埋點系統(tǒng)功能結構如下圖：
圖三：埋點管理系統(tǒng)功能結構圖
在功能結構圖中提到了應用、埋點需求、事件、屬性等對象，在展開闡述每個功能模塊之前，我們先了解一下埋點管理系統(tǒng)里涉及到的全部管理對象及對象之間的關系。
圖四：埋點事件模型圖
埋點管理系統(tǒng)一共涉及到四個對象，分別是應用、埋點需求批次、埋點事件、事件屬性。他們之間的關系是自上而下的邏輯關系。比如在系統(tǒng)的埋點需求管理模塊，篩選出一個應用名稱，則對應展示的是選中的應用下面的所有埋點需求清單，選中單個埋點需求批次的時候，對應展現(xiàn)的就是這個批次下面的所有埋點事件。了解到此，下面我將分別展開介紹每個模塊的功能：
1）應用管理
應用管理功能主要是承載業(yè)務團隊新增一個APP/小程序／H5／web端等業(yè)務產品對象，我們需要在系統(tǒng)里先創(chuàng)建一個新的埋點產品對象，然后才有后續(xù)增加的埋點需求及事件元信息等。這個模塊包含應用新增、刪除、編輯等基礎功能。產品團隊需要負責的埋點產品都可以放在這里統(tǒng)一管理。
圖五：應用管理列表圖
2）埋點需求管理
埋點需求管理功能主要承載集中管理業(yè)務團隊提過來給產品團隊的埋點需求文檔，這里可以創(chuàng)建需求、編輯需求、下鉆需求、下線需求等。在這里，需求按照批次來進行管理，每一個埋點需求都有一個唯一的批次號，掛載到對應的應用及版本上，并且點擊單個埋點需求批次號，可以直接下鉆到該埋點需求下的全部事件列表。
圖六：埋點需求管理列表圖
3）事件管理
事件管理功能則承載來所有埋點需求拆解出來需要開發(fā)的埋點事件元信息，這里可以創(chuàng)建事件、編輯事件、下鉆事件、搜索事件、下線事件等。事件是埋點拆解的最小對象單元，在這里每個事件都要掛載在對應的埋點需求批次上，系統(tǒng)里沒有獨立自自己游蕩的事件。這樣所有的應用、埋點需求批次和事件都有了映射關系。當需要使用埋點數據時，先來埋點管理系統(tǒng)查找埋點需求批次，這種清晰的映射關系在查詢埋點元信息時提供了高效的途徑。
圖七：埋點需求管理列表圖
4）屬性管理
屬性管理功能模塊承載的是常用的有共性的屬性。一個個獨立的屬性常用屬性，比如用用戶ID、用戶客戶端系統(tǒng)、在線時長等屬性，可以在屬性管理這里完成注冊。在用戶新建事件時，可以直接引用已注冊完成的屬性綁定到事件上，減少用戶填寫事件屬性信息時的大量重復填寫工作。
5）埋點校驗
走到這里，埋點已經開發(fā)完成了，到了測試、驗收、上線的環(huán)節(jié)。這里的埋點校驗包含兩部分，可視化抓包測試及開發(fā)環(huán)境和測試環(huán)境的信息對比。完成這兩個環(huán)節(jié)之后，開發(fā)同事才可以把埋點發(fā)布到正式環(huán)境。
可視化抓包測試
可視化抓包功能頁主要提供給產品經理和測試同學可以現(xiàn)場抽樣測試事件數據，檢查上報的屬性是否已經完整，屬性值是否準確。
圖八：埋點數據實時抓包圖
對比與同步：
在線對比和發(fā)布功能頁則是承載了開發(fā)童鞋對比生產環(huán)境和測試環(huán)境埋點元信息的差異之處，幫助快速確認已經進行了變更處理之處。及支持開發(fā)童鞋在線可視化發(fā)布埋點事件，便捷高效。
圖九：埋點需求對比及同步功能圖
6）埋點監(jiān)控
埋點監(jiān)控功能承載的則是埋點管理系統(tǒng)全部埋點事件的及任務運行的結果監(jiān)控。包括展示全部埋點應用統(tǒng)計數、埋點需求統(tǒng)計數、事件統(tǒng)計數、有效在線事件統(tǒng)計數、異常的埋點事件數、未處理的埋點需求／事件數等，是統(tǒng)計和展示整個系統(tǒng)管理對象及對象運行情況的監(jiān)控功能模塊。方便參與埋點工作的同事了解整體產品的埋點任務運行情況，和及時發(fā)現(xiàn)埋點上報數據的異常情況。也是埋點管理系統(tǒng)的一個必不可少的模塊。
總結
以上從埋點管理系統(tǒng)的定位和解決的痛點問題，及系統(tǒng)的建設過程給大家闡述一遍，希望能幫助大家在對埋點管理系統(tǒng)及建設有個相對完整的認識。
最后，總結幾點系統(tǒng)建設過程中的思考及注意事項分享給大家：
1、埋點管理系統(tǒng)是一個服務于數據團隊但涉及合作團隊較多的系統(tǒng)。在不同公司，可能埋點業(yè)務流程不一樣，而我這里分享的是我經歷過的埋點工作場景中協(xié)同效率比較高效的埋點業(yè)務流程，希望能提供參考借鑒。
2、埋點需求批次跟應用版本號不完全保持一致，不要當作是形同對象而相互替代。因為很可能在后期版本增加早期發(fā)版的產品功能的埋點。如果當作同一個問題處理，將導致埋點需求管理能力可擴展性太弱，很快整個系統(tǒng)都陷入了管理瓶頸。
3、埋點管理系統(tǒng)真實可以提升業(yè)務、產品、開發(fā)、數據分析多個團隊的協(xié)同效率，用起來非常爽，能早建設盡早建設。
埋點相關資料可點擊下方文字鏈接：