AB測試來源及適用場景
「原理」這個專題,主要介紹數(shù)據(jù)分析師的常用分析方法和原理。我們先從目前最常用的AB-Test講起。
AB測試簡介
越來越多的公司重視AB測試,按照筆者的經(jīng)驗,之前會Excel就行,SQL是加分項。后來變成了必須懂SQL,AB測試是加分項。再到后來變成了,AB測試和SQL都是必會的東西。
因為從15年至今,人口紅利肉眼可見的減少,流量競爭從增量競爭變成了存量競爭。截至2020年底,互聯(lián)網(wǎng)用戶已經(jīng)高達10億。微信,支付寶,頭條,抖音這些巨型APP基本已經(jīng)瓜分了用戶的大部分時間,別的APP想要存活及增長,精細化運營就變成了必須。
精細化從技術上,又無法避免AB測試。往往產(chǎn)品的認知并不是用戶的認知,所以我們需要去測試,去實驗用戶的喜好。選擇一個用戶偏愛的功能上線,才會不斷提高用戶滿意度,我們的APP才能活下來,并有一定程度的增長。
AB測試是借鑒了實驗的思維,目標是為了歸因。通俗來說,就是我們想把條件分開,明確的知道,哪種條件下,用戶會買賬。這就需要三個條件:有對照組,隨機分配用戶,且用戶量足夠。
最早的AB測試本身是起源于醫(yī)學。當一個藥劑被研發(fā)后,醫(yī)學工作人員需要評估藥劑的效果。一般就會選擇兩組用戶(隨機篩選的用戶),構建實驗組和對照組。用這兩組用戶來“試藥”。也就是實驗組用戶給真的藥劑,對照組用戶給安慰劑,但是用戶本身不知道自己是什么組,只有醫(yī)生指導。之后,在后期的觀察中,通過一些統(tǒng)計方法,驗證效果的差異性是否顯著,從而去校驗藥劑是否達到我們的預期效果。
這個就是最早期的醫(yī)學“雙盲實驗”?;ヂ?lián)網(wǎng)行業(yè)其實也差不多是這么用。我們需要確認的是,當前改版,是否有效果,也就是說,我們需要驗證效果的“藥劑”變成了一個“改版”。
業(yè)務把將web或者app界面或者流程,拆分為多個版本。然后將流量分層(或者分流),不同的人群使用的某個功能或者觸發(fā)的策略不同。但是這里的人群一定要滿足同質化的特性。所以無論分層還是分流,我們都需要將用戶隨機分配,且同一用戶不能處在兩個組內。
通俗來說,AB測試是一種互聯(lián)網(wǎng)人口紅利減少的背景下,為了提高用戶滿意度,留下用戶而使用的一種利用數(shù)學原理來精細化運營的評估方法。
AB測試適用場景
AB測試流程
知識點總結

推薦閱讀
歡迎長按掃碼關注「數(shù)據(jù)管道」
