數(shù)據(jù)異常分析找不到原因，注意這些！

點(diǎn)擊上方“數(shù)據(jù)管道”，選擇“置頂星標(biāo)”公眾號(hào)

干貨福利，第一時(shí)間送達(dá)

現(xiàn)在工作中數(shù)據(jù)分析技能需求日益增長(zhǎng)，運(yùn)營(yíng)人員，HR，產(chǎn)品經(jīng)理等都要會(huì)數(shù)據(jù)分析。

你是否經(jīng)歷過(guò)指標(biāo)異常了，分析找了半天找不到原因在哪里，各個(gè)方面都排查了，然后跟老板反饋說(shuō)“我也沒(méi)找到具體原因”，老板冷冰冰的眼神看著你，“要你何用”，你心中有苦說(shuō)不出。其實(shí)你可能忽略了一個(gè)數(shù)據(jù)分析的基礎(chǔ)：數(shù)據(jù)是要準(zhǔn)確的，在分析異常之前一定要先確認(rèn)數(shù)據(jù)是否準(zhǔn)確。如同蓋樓一樣，地基有問(wèn)題，樓蓋的再高再好看是不穩(wěn)定。

01

數(shù)據(jù)錯(cuò)誤的坑

分享下最近這一周我遇到了兩次這樣的情況：

場(chǎng)景1：上周業(yè)務(wù)線的流量環(huán)比上上周下降10%，對(duì)比另外2條業(yè)務(wù)線都是上漲10%，現(xiàn)在是暑期旅游熱度逐漸起來(lái)，不太符合趨勢(shì)，然后根據(jù)之前的分析框架，從流量來(lái)源以及效率方面都做了檢查，沒(méi)有找到原因。

最后想起來(lái)沒(méi)有先去數(shù)據(jù)層上確認(rèn)下是否正常，最終定位到常用口徑中有個(gè)篩選字段渠道中出現(xiàn)了20%左右的空值導(dǎo)致進(jìn)行篩選條件時(shí)部分記錄被過(guò)濾掉。

場(chǎng)景2：這周在看產(chǎn)線的漏斗結(jié)果時(shí)，發(fā)現(xiàn)APP渠道訂單轉(zhuǎn)化率環(huán)比下跌30%, 在漏斗流程中是填寫(xiě)頁(yè)到提交訂單環(huán)節(jié)丟失的。

由于前面case的經(jīng)驗(yàn)，我有點(diǎn)懷疑數(shù)據(jù)的準(zhǔn)確性了。理論上不會(huì)有這么大的波動(dòng)的；我先找提交失敗報(bào)錯(cuò)數(shù)量沒(méi)有明顯變化，推測(cè)可能是數(shù)據(jù)異常，然后詢(xún)問(wèn)產(chǎn)品經(jīng)理最近有無(wú)什么變動(dòng)，得知是最近是在做小程序頁(yè)面測(cè)試，導(dǎo)致APP上訂單被記在小程序渠道上。

02

數(shù)據(jù)供應(yīng)鏈

作為數(shù)據(jù)終端的使用方，我們有時(shí)是不知道這個(gè)數(shù)據(jù)是怎么來(lái)的，使用上難免有黑盒子的感覺(jué)。需要對(duì)一般互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)生產(chǎn)流程有基礎(chǔ)了解以及數(shù)據(jù)錯(cuò)誤的預(yù)判。

我喜歡用一個(gè)數(shù)據(jù)供應(yīng)鏈來(lái)描述這一流程：

從最上游生產(chǎn)環(huán)境中產(chǎn)生數(shù)據(jù)源表層，到數(shù)據(jù)倉(cāng)庫(kù)對(duì)數(shù)據(jù)進(jìn)行抽取，轉(zhuǎn)換和清洗（也就是ETL）成結(jié)構(gòu)化的基礎(chǔ)數(shù)據(jù)表的形式，然后數(shù)據(jù)倉(cāng)庫(kù)再串聯(lián)各類(lèi)維表形成業(yè)務(wù)方使用的專(zhuān)項(xiàng)數(shù)據(jù)表，數(shù)據(jù)表開(kāi)放給各個(gè)業(yè)務(wù)方以及分析師們使用。

那么涉及到生產(chǎn)環(huán)節(jié)1個(gè)，加工環(huán)節(jié)有2個(gè)，使用環(huán)節(jié)1個(gè)，都會(huì)有產(chǎn)生臟數(shù)據(jù)的可能性。

Q1：那么在分析工作中如何預(yù)判數(shù)據(jù)錯(cuò)誤？

A: 看具體異常數(shù)據(jù)前，一定要先確認(rèn)自己的取數(shù)口徑是否正確；

-數(shù)據(jù)敏感度。也就是憑經(jīng)驗(yàn)和對(duì)數(shù)據(jù)的直覺(jué)，這個(gè)往玄乎里說(shuō)就是第六感，接地氣的意思就是你每天接觸這個(gè)數(shù)據(jù)，知道數(shù)據(jù)的變動(dòng)背后的業(yè)務(wù)含義，當(dāng)它異常時(shí)，你是會(huì)察覺(jué)出來(lái)的，后面會(huì)單獨(dú)有帖子來(lái)分享跟數(shù)據(jù)敏感度相關(guān)話題。

-交叉確認(rèn)值。那么如果承認(rèn)自己無(wú)法確定這個(gè)異常，那么需要額外的信息來(lái)降低這個(gè)不確定性。我們可以找其它數(shù)據(jù)源交叉比對(duì)的方式來(lái)判斷這個(gè)數(shù)據(jù)是否異常；舉個(gè)例子：你可以百度上的尺子功能來(lái)測(cè)量?jī)蓚€(gè)點(diǎn)之間的距離（地鐵站到售票處的距離）是否如別人說(shuō)的那么近2公里左右。

-趨勢(shì)變化數(shù)據(jù)；可以做一張這一值的趨勢(shì)圖，如果一直很平穩(wěn)突然有個(gè)較大的拐點(diǎn)（環(huán)比下降50%以上），那就很有可能是錯(cuò)誤值。

Q2：數(shù)據(jù)是否可以補(bǔ)救？

A: 那么由于數(shù)據(jù)對(duì)于工作中決策很重要，這一數(shù)據(jù)臟了，還能補(bǔ)救嗎？答案是因數(shù)據(jù)供應(yīng)鏈中的位置而異；也可以通過(guò)這個(gè)圖對(duì)數(shù)據(jù)進(jìn)行歸類(lèi)，生產(chǎn)層上的是不可再生數(shù)據(jù)，其它層面是屬于再生數(shù)據(jù)。