「原理」AB測試-詳細(xì)過程和原理解讀

這篇我們來詳細(xì)講講AB測試的原理和具體的過程。

AB測試最核心的原理，就四個字：假設(shè)檢驗(yàn)。檢驗(yàn)我們提出的假設(shè)是否正確。對應(yīng)到AB測試中，就是檢驗(yàn)實(shí)驗(yàn)組&對照組，指標(biāo)是否有顯著差異。

既然是假設(shè)檢驗(yàn)，那么就是先假設(shè)，再收集數(shù)據(jù)，最后根據(jù)收集的數(shù)據(jù)來做檢驗(yàn)。

先來說說假設(shè)。

假設(shè)一般成對出現(xiàn)，分為零假設(shè) 和 備選假設(shè)。

在AB測試中，零假設(shè)是：實(shí)驗(yàn)組&對照組 指標(biāo)相同，無顯著差異；備選假設(shè)則相反，實(shí)驗(yàn)組&對照組 指標(biāo)不同，有顯著差異。

舉個例子。我們優(yōu)化了某算法，想提高頁面的點(diǎn)擊率。針對這個場景的AB測試，零假設(shè)就是 新算法&老算法的頁面點(diǎn)擊率無明顯差異，備選假設(shè)是 新算法&老算法的頁面點(diǎn)擊率有顯著差異。

再來說說檢驗(yàn)。

一般來說，我們是通過具體的指標(biāo)屬性來找尋相應(yīng)的檢驗(yàn)方法。那么問題來了，指標(biāo)如何分類呢？

指標(biāo)可以分為兩種類別：

1、絕對值類指標(biāo)。也就是我們平常直接計(jì)算就能得到的，比如DAU，點(diǎn)擊次數(shù)等。我們的一般都是統(tǒng)計(jì)該指標(biāo)在一段時間內(nèi)的均值或者匯總值，不存在兩個值之間還要相互計(jì)算。

2、相對值類指標(biāo)。與絕對值類指標(biāo)相反，我們不能直接計(jì)算得到。比如某頁面的CTR，我們是用 頁面點(diǎn)擊數(shù) / 頁面展現(xiàn)數(shù)。我們要計(jì)算點(diǎn)擊數(shù)和展現(xiàn)數(shù)，兩者相除才能得到該指標(biāo)。類似的，還有XX轉(zhuǎn)化率，XX點(diǎn)擊率，XX購買率一類的。我們做的AB實(shí)驗(yàn)，大部分情況下都想提高這類指標(biāo)。

根據(jù)指標(biāo)我們可以知道，該如何計(jì)算最小樣本量，以及實(shí)驗(yàn)周期，以及對應(yīng)的檢驗(yàn)方法。