3分鐘，看懂ABtest！

大家好，我是寶器！

今天跟大家分享的是萬眾期待的ABtest原理。其實ABtest的難度主要在開發(fā)上：開發(fā)新版本、進行測試、測試數(shù)據(jù)回傳保存等等。在數(shù)據(jù)上，ABtest原理很簡單。

一、ABtest的基本原理

簡單來說，ABtest就是當(dāng)我們在A、B兩個方案之間猶豫不決的時候，直接把兩個方案測試一把，看看哪個效果好，把測試結(jié)果作為參考依據(jù)。

因為是抽樣測試，所以需要一些統(tǒng)計學(xué)方法，估計是否測試能代表整體情況，因此要引用統(tǒng)計學(xué)方法。

二、ABtest如何做

ABtest本質(zhì)上是一個：兩總體假設(shè)檢驗問題，要檢驗A、B兩個版本是一樣，還是有所區(qū)別。和之前介紹的單總體假設(shè)檢驗一樣，兩總體假設(shè)檢驗，也分步驟：

• 第一步：明確要檢驗的A、B兩個對象
• 第二步：明確要檢驗的指標(biāo)，是平均值，還是比例
• 第三步：根據(jù)檢驗?zāi)康?，給出原假設(shè)/備選假設(shè)
• 第四步：根據(jù)要檢驗的指標(biāo)，選擇檢驗統(tǒng)計量（是不是頭都看大了，其實沒關(guān)系，大部分統(tǒng)計軟件，包括excel，都有提供兩樣本均值的t檢驗，直接用即可）。

• 第五步：給定顯著性水平，計算統(tǒng)計量，得出結(jié)果：支持原假設(shè)還是推翻原假設(shè)
  
  

這里的原理和假設(shè)檢驗是一模一樣的，小伙伴們可簡單理解成：檢驗的是兩個方案的均值/比例，是否等于0。

是不是頭又看大了，沒關(guān)系，這些計算結(jié)果在統(tǒng)計軟件中都可以直接給出。小伙伴們只要記得：P值小于0.05推翻原假設(shè)，就OK啦！

三、ABtest小例子

來看個具體例子：某電商平臺，想提升用戶客單價，運營部門做了兩套方案：A、B激勵方案，想小規(guī)模投放優(yōu)惠給用戶，測試下效果。已選出兩組各12名用戶，測試用戶客單價如下圖所示。此時可以用excel自帶的兩總體t檢驗功能來做

• 第一步，先準備好A、B兩個方案的數(shù)據(jù)

  
  

• 第二步：明確，要檢驗的是平均值（檢驗兩個方案的平均客單價是否一致）
  
• 第三步：給出原假設(shè)。這里可以簡單處理，提假設(shè)

原假設(shè)：方案A客單價均值=方案B客單價均值

備選假設(shè)：兩者不相等

這樣懟翻了原假設(shè)，就說明方案A和方案B有差異啦（記得把要懟翻的放原假設(shè)哦）

• 第四步：代入t檢驗公式計算

• 第五步：解讀結(jié)論

  
  

既然方案A與方案B不同，A的均值又高于B，那么就認為A更好啦，搞掂！

這樣就做完啦！

四、ABtest的注意事項

注意1：測試目標(biāo)要清晰。在實際工作中，有些產(chǎn)品經(jīng)理/運營的口頭禪就是：“AB一下看看”。可如果目標(biāo)都沒確定的話，連如何寫假設(shè)，如何找檢驗統(tǒng)計量都無法確定，更沒辦法定怎么測試了。

特別注意的是，在一次測試中，是很難兼容兩個目標(biāo)的。比如上邊的小例子，如果想提升用戶客單價，則要推的是貴的商品，要給的激勵是滿減型激勵，讓用戶買貴一點。

如果想提升用戶消費率，則要推的是便宜的商品，要給的激勵是秒殺/超低價，讓用戶先買一筆再說。這兩個目標(biāo)是很難在一個方案A/B里兼容的。

所以小伙伴們，千萬別信了產(chǎn)品經(jīng)理/運營“你先測測看看”的鬼話。如果一開始目標(biāo)都很混亂，那方案肯定也是四不像，測出來結(jié)果亂七八糟，也是很正常的。事前不想清楚，事后只能瞎著急。

注意2：測試方案合理性。有些測試方案本身設(shè)計得就不合理，不是拿相似的方案測試，而是明顯一個方案很優(yōu)惠，一個很雞肋；一個設(shè)計很美觀，一個設(shè)計很丑陋。這種情況下測了也白測。測試方案本身，要是蘋果對蘋果，西瓜對西瓜才行。

注意3：測試對象相似性。還以上邊小例子舉例。參與測試的用戶群體，可能自身在客單價/消費力上就有差異。這種測試特征的差異，會直接導(dǎo)致：結(jié)果上的差異是由于客群特征，而非方案A/B造成的。這是最差的情況了，這樣不但會導(dǎo)致測試無效，而且會誤導(dǎo)業(yè)務(wù)判斷。

四、Abtest的局限性

正是由于有以上三點要求，導(dǎo)致ABtest是有門檻的：

• 要有能力設(shè)計相近版本方案
• 要有足夠開發(fā)支持，把方案落地
• 要有足夠的用戶數(shù)據(jù)，區(qū)分用戶特征

這些使得ABtest只有在數(shù)據(jù)充足、開發(fā)資源充足、業(yè)務(wù)方資源充足且沒有私心的時候，才能完美落地。因此，雖然ABtest的原理很簡單，但是具體應(yīng)用，還需要結(jié)合實際情況做考慮。具體細節(jié)，后續(xù)再分享。

以上就是今天的分享，喜歡的話，記得轉(zhuǎn)發(fā)、點贊、在看，支持一下小熊妹哦，謝謝大家。

·················END·················

推薦閱讀

1. 我在字節(jié)做了哪些事
   

2. 寫給所有數(shù)據(jù)人。

3. 從留存率業(yè)務(wù)案例談0-1的數(shù)據(jù)指標(biāo)體系

4. 數(shù)據(jù)分析師的一周
   

5. 超級菜鳥如何入門數(shù)據(jù)分析？
   

歡迎長按掃碼關(guān)注「數(shù)據(jù)管道」