做A/B Test實(shí)驗(yàn)時(shí)，需要多少樣本量？

在實(shí)際業(yè)務(wù)中，我們會(huì)思考一個(gè)很現(xiàn)實(shí)的問(wèn)題，ABTest得到的結(jié)論是否可信？如果不可信，那需要多少樣本才能說(shuō)明一組ABTest實(shí)驗(yàn)是具有顯著性的呢？

我們今天分兩步來(lái)闡述這個(gè)問(wèn)題：

1、假設(shè)檢驗(yàn)

首先介紹一個(gè)原理——假設(shè)檢驗(yàn)

在適當(dāng)?shù)臈l件下，中心極限定理告訴我們，大量相互獨(dú)立隨機(jī)變量的均值經(jīng)適當(dāng)標(biāo)準(zhǔn)化后依分布收斂于正態(tài)分布，AB測(cè)試采用雙樣本對(duì)照的z檢驗(yàn)公式。

顯著性上，根據(jù)z檢驗(yàn)算出p值，通常我們會(huì)用p值和0.05比較，如果p<0.05，我們認(rèn)為AB沒有顯著差異。置信問(wèn)題上，對(duì)一個(gè)概率樣本的總體參數(shù)進(jìn)行區(qū)間估計(jì)的樣本均值范圍，它展現(xiàn)了這個(gè)均值范圍包含總體參數(shù)的概率，這個(gè)概率稱為置信水平。

從另一個(gè)角度來(lái)說(shuō)，AB兩個(gè)實(shí)驗(yàn)組之間即使有差異，也不一定能被觀測(cè)出來(lái)，必須保證一定的條件才能使你能觀測(cè)出統(tǒng)計(jì)量之間的差異；否則，結(jié)果也是不置信的。而這個(gè)條件就是開頭提到的問(wèn)題，樣本數(shù)量問(wèn)題。

2、樣本量級(jí)

其次介紹我們需要多少樣本呢？

那么問(wèn)題來(lái)了，一次ABTest需要多少樣本（用戶）呢？假設(shè)AB兩組實(shí)驗(yàn)的用戶具有相同的標(biāo)準(zhǔn)差，根據(jù)公式，帶入n1，同時(shí)根據(jù)假設(shè)p值和a值，推導(dǎo)出需要的最低用戶數(shù)。

3、抖音的ABTest實(shí)驗(yàn)系統(tǒng)

這是【字節(jié)】ABTest實(shí)驗(yàn)系統(tǒng)的基本原理：

冷啟動(dòng)推薦：通過(guò)審核后，抖音會(huì)對(duì)實(shí)時(shí)在線用戶進(jìn)行流量分桶，每桶按照總用戶量10%分配進(jìn)行實(shí)驗(yàn)推送，第一步叫冷啟動(dòng)流量池曝光，比如你今天上傳一個(gè)視頻，通過(guò)雙重審核的作品，系統(tǒng)將會(huì)分配給你一個(gè)初始流量池：200-300在線用戶。不論你是不是大號(hào)，只要你有能力產(chǎn)出優(yōu)質(zhì)內(nèi)容，就有機(jī)會(huì)跟大號(hào)競(jìng)爭(zhēng)。

標(biāo)簽積累：分配的視頻流量再進(jìn)行分配實(shí)驗(yàn)組，每個(gè)實(shí)驗(yàn)組按照5%比例分配，并為用戶貼上相近標(biāo)簽。

加權(quán)推薦：把作品送量測(cè)試給首個(gè)實(shí)驗(yàn)組用戶，根據(jù)用戶反饋的轉(zhuǎn)、評(píng)、贊、完播率等計(jì)算作品基數(shù)，決定是否進(jìn)行第二輪推薦及推薦力度。即播放量=A*完播率+B* 點(diǎn)贊率+C* 評(píng)論率+D* 轉(zhuǎn)發(fā)率。

加大流量推薦：達(dá)到通過(guò)推薦基數(shù)，繼續(xù)把作品推送下一個(gè)分配實(shí)驗(yàn)組進(jìn)行測(cè)試；

頂流推薦：進(jìn)入精品推薦池，大規(guī)模曝光，一旦進(jìn)入精品推薦后，人群標(biāo)簽就被弱化了，幾乎每個(gè)抖音用戶都會(huì)刷到。

作者：CSDN博主「煉丹筆記」

鏈接：https://blog.csdn.net/m0_52122378/article/details/115205207

• Meta的新學(xué)習(xí)算法可以教AI進(jìn)行多任務(wù)處理
  

• 數(shù)據(jù)分析案例：判斷數(shù)據(jù)指標(biāo)波動(dòng)異常有哪些方法？
  

• 用Excel進(jìn)行數(shù)據(jù)查詢，這些招數(shù)會(huì)幾種？

• 五種常見的數(shù)據(jù)分析方法介紹

• 數(shù)據(jù)分析師必需具備的10種分析思維