網(wǎng)易嚴選：流量數(shù)據(jù)體系演進（上篇）
在互聯(lián)網(wǎng)場景，無論是構(gòu)建廣告、搜索推薦、投放、用戶觸達等場景，其實都是圍繞著用戶行為流量進行各種人工或智能策略的流量調(diào)控分發(fā)或是人群運營。在這些精細智能化運營的背后，對流量數(shù)據(jù)的豐富性、時效性和靈活性提出巨大的挑戰(zhàn)。
本文主要分享了在網(wǎng)易嚴選電商流量數(shù)據(jù)建設(shè)，一套覆蓋全鏈路、通用場景歸因量化、多維度靈活的流量數(shù)據(jù)體系，服務(wù)數(shù)據(jù)驅(qū)動的人貨場匹配的核心業(yè)務(wù)營銷場景。
背景介紹
流量數(shù)據(jù)作為電商數(shù)據(jù)體系構(gòu)建的基石，為嚴選用戶增長、產(chǎn)品優(yōu)化、智能運營及科學決策等方面，提供了可靠的業(yè)務(wù)分析及決策依據(jù)。
早期嚴選流量數(shù)據(jù)的體系圍繞著埋點規(guī)范設(shè)計及全周期管理工具(夸父)、用戶行為分析工具(神相)搭建。下圖左1展示了流量數(shù)倉業(yè)務(wù)架構(gòu)，我們可以看出現(xiàn)有系統(tǒng)有一系列單體系統(tǒng)構(gòu)成，暫未形成全流程業(yè)務(wù)閉環(huán)，解決全流程系統(tǒng)自動化打通的問題。
同時基于單一埋點事件模型的用戶行為分析已經(jīng)滿足不了精細化運營需求，更多的是需要搭建通用的營銷行為，同時數(shù)據(jù)應(yīng)用場景從報表型->分析型-->決策型，通過更直接的通過營銷數(shù)據(jù)產(chǎn)品、算法能力去改變用戶的行為、調(diào)控流量，從而帶來直接的業(yè)務(wù)影響。以下為現(xiàn)流量數(shù)據(jù)整體業(yè)務(wù)架構(gòu)。
對此，我們在對流量體系架構(gòu)有如下要求與挑戰(zhàn)：
營銷前端業(yè)務(wù)復(fù)雜度高、迭代快，流量數(shù)據(jù)建設(shè)需要快速滿足新業(yè)務(wù)場景接入；
投放、觸達組合手段多樣，需要根據(jù)營銷目標，精準刻畫流量轉(zhuǎn)化效果；
業(yè)務(wù)場景多樣、海量行為日志，數(shù)倉需要提供低延時、靈活、擴展性數(shù)據(jù)查詢能力。
解決方案
為了解決上述問題，我們需要一套系統(tǒng)化的解決方案。主要以數(shù)據(jù)中臺工具能力建設(shè)為基礎(chǔ)，基于埋點和歸因體系化相結(jié)合，提出了一套全鏈路數(shù)據(jù)標準化生產(chǎn)、流量特色設(shè)計的數(shù)據(jù)體系建設(shè)方法論。
針對流量數(shù)據(jù)鏈路場景，我們分別從埋點、數(shù)據(jù)體系、數(shù)據(jù)生產(chǎn)三方面實現(xiàn)一系列關(guān)鍵技術(shù)：
通用埋點方案沉淀：埋點數(shù)據(jù)標準化，統(tǒng)一多端生態(tài)的位置(頁面模塊)與內(nèi)容資源；
分析體系搭建：歸因體系搭建，覆蓋站內(nèi)外通用業(yè)務(wù)場景，數(shù)據(jù)模型、方案設(shè)計上需要考慮靈活與擴展性；
數(shù)倉建設(shè)：統(tǒng)一的實時離線數(shù)倉建設(shè)，支撐電商大促場景下流量數(shù)據(jù)資產(chǎn)更高時效、穩(wěn)定輸出。
2.1埋點體系建設(shè)
嚴選的埋點規(guī)范建設(shè)包含對用戶通用行為的抽象：事件的定義，頁面 ，模塊 ，參數(shù)以及版本的管理。大致拆分成了兩類：一是發(fā)生行為的名稱(事件)以及位置(頁面、模塊、坑位)，二是發(fā)生行為的內(nèi)容(參數(shù)，版本信息等)。
（1）頁面模塊體系
頁面模塊體系，主要是管理資源對應(yīng)的位置信息，即APP/PC/WAP/小程序各端的固定式業(yè)務(wù)模塊劃分。其基礎(chǔ)思路是統(tǒng)一化、標準化當前各端的頁面、模塊、位置，并進行編碼管理，供APP、H5、商城業(yè)務(wù)、數(shù)據(jù)業(yè)務(wù)等統(tǒng)一接入。為后續(xù)統(tǒng)一投放->看數(shù)視角、APP產(chǎn)品端動態(tài)化(布局、樣式、數(shù)據(jù))、AB實驗、自動化埋點打下基礎(chǔ)。
（2）全埋點方案
埋點信息總體分為兩部分：埋點頁面位置信息和埋點位置業(yè)務(wù)內(nèi)容信息。所以，全埋的最終理念就是實現(xiàn)：位置信息和內(nèi)容信息的自動化，位置信息自動化例如xpath，內(nèi)容信息自動化例如資源投放平臺的下發(fā)。
位置模型YPM(Yanxuan Position Model)：根據(jù)模塊名以及模塊所處的層級關(guān)系，能夠構(gòu)造出該模塊的唯一標識。嚴選埋點的頁面位置信息可以通過現(xiàn)有的體系建event_name的規(guī)范定義和parameter中的sequen參數(shù)，能夠確認位置的唯一性。
內(nèi)容模型YCM(Yanxuan Content Model)：與業(yè)務(wù)內(nèi)容一起下發(fā)的埋點數(shù)據(jù)，用來唯一標識一塊內(nèi)容。統(tǒng)一透傳參數(shù)extra內(nèi)數(shù)據(jù)層級，對業(yè)務(wù)內(nèi)容(商品、素材、投放任務(wù)ID等)統(tǒng)一使用唯一標識。
流量可以唯一標識到頁面、模塊、位置任意層級，實現(xiàn)位置和內(nèi)容分離?；陔娚虡I(yè)務(wù)復(fù)雜性和歷史原因，嚴選采用的還是全埋點+手動埋點相結(jié)合的方案。
（3）鏈路數(shù)據(jù)方案
上述是基于單一事件的埋點規(guī)范建設(shè)，在鏈路行為串聯(lián)上主要實現(xiàn)了以下幾種方案：
全鏈路透傳：按照先進先出原則保留用戶5步內(nèi)用戶路徑信息。同時考慮對數(shù)據(jù)的實時查詢要求，豐富原有id數(shù)組數(shù)據(jù)結(jié)構(gòu)；
入口頁透傳：以商詳/加購作為卯點，末次歸因入口頁面模塊；
推廣投放鏈接：嚴選App推廣投放鏈接，渠道追蹤與數(shù)據(jù)收集。
2.2數(shù)據(jù)架構(gòu)
（1）模型分層設(shè)計
在數(shù)倉架構(gòu)上，整體按照數(shù)倉高內(nèi)聚、低耦合的原則進行分層標準化建設(shè)。
ods：主要前端埋點基礎(chǔ)日志、push等觸達日志以及業(yè)務(wù)庫db數(shù)據(jù)，通過統(tǒng)一的AutoETL標準化組件實現(xiàn)統(tǒng)一的規(guī)范化離線和實時ODS層；
dim：從埋點流量日志抽象核心設(shè)備維度、唯一身份識別uuid。通過業(yè)務(wù)庫db數(shù)據(jù)抽象頁面模塊維度、投放計劃等核心配置維度；
dwd：主要分為兩部分以業(yè)務(wù)過程作為建模驅(qū)動、適當維度補全，構(gòu)建最細粒度的明細事實表；以及基于歸因體系構(gòu)建轉(zhuǎn)化明細層。
dws：提供各主題一致性細粒度和指標的輕度匯總數(shù)據(jù)。減少流量數(shù)據(jù)計算存儲成本，同時封裝復(fù)雜口徑定義，保證數(shù)據(jù)的一致性輸出。
實時數(shù)倉在構(gòu)建上與離線建設(shè)理念是基本一致的，只是在分層設(shè)計上會更注意減少依賴層次的鏈路。
（2）唯一身份識別
通過用戶設(shè)備帳號一體化，打通了用戶未登錄態(tài)及登錄態(tài)的數(shù)據(jù)，補全了基于user_id的用戶訪問行為特征數(shù)據(jù)。
（3）歸因體系
如果說前面是基于單一事件4w1h(who,when,where,what,how)五個維度構(gòu)建埋點體系，那么營銷數(shù)據(jù)體系構(gòu)建上主要是基于why->how的觸點歸因體系。
常用的歸因包括：首次點擊、末次點擊、多點歸因等，根據(jù)分配方式又可以分為線性歸因、時間衰減、馬爾可夫、shap值分解等。我們在站外拉新召回、站內(nèi)頁面導購、用戶觸達三個電商常用場景我們沉淀了三個通用歸因能力：
渠道歸因：核心解決如何衡量站外各組合營銷渠道廣告帶來的轉(zhuǎn)化效果，從而更好得指導廣告投放。主要是通過將每一個激活和訂單，通過合理規(guī)則歸屬到一個渠道上，在此基礎(chǔ)搭建分析體系。嚴選渠道歸因采用業(yè)界最常用的單點末次歸因。一個訂單用戶被多個渠道干預(yù)的情況下，訂單將歸屬于：在訂單提交之前的、優(yōu)先級最高的、事件時間最晚的訪問記錄的渠道。
頁面導購歸因：按照app用戶瀏覽鏈路劃分必經(jīng)頁面入口頁與承接頁，主要分為末次歸因、三步多點歸因兩種方式對用戶行為進行追蹤，通過導購鏈路歸屬訂單下單來源，從而量化站內(nèi)坑位流量轉(zhuǎn)化價值。
觸達歸因：主要應(yīng)用于主站體系內(nèi)的push/短信/彈窗等自動手動營銷效果歸因，結(jié)合場景和效期選取了時間衰減模型多點歸因，核心思路為兩點：借助時間衰減曲線初步確定權(quán)重基數(shù)(時間距因子)，個性化場景權(quán)重系數(shù)調(diào)整。
總結(jié)
基于以上歸因能力，我們建立了一套通用、統(tǒng)一視角的流量營銷轉(zhuǎn)化評估體系，那后面需要思考的是如何將我們的數(shù)據(jù)高效、穩(wěn)定地生產(chǎn)加工、輸出賦能于業(yè)務(wù)。在實際業(yè)務(wù)場景中流量數(shù)據(jù)還面臨著數(shù)據(jù)量大、加工全鏈路長等技術(shù)挑戰(zhàn)，這些都需要我們從數(shù)據(jù)鏈路生產(chǎn)、模型設(shè)計、鏈路保障上有一定思考與設(shè)計，下篇將會從數(shù)據(jù)計算角度分享流量數(shù)據(jù)計算場景的經(jīng)驗與質(zhì)量保障。
