91福利在线免费观看,免费黄色成人视频网址,乱伦性爱视频,韩国一级免费毛片,色天堂在线播放,一级做A爱片久久毛片,操逼视频黄片,北条麻妃在线无码

你好，我是寶器！

上篇，我們講述了AB測試的來源，適用場景，并簡述了AB測試三個階段的工作。

這篇我們來詳細(xì)講講原理和具體的過程。

AB測試原理簡介

AB測試最核心的原理，就四個字：假設(shè)檢驗。檢驗我們提出的假設(shè)是否正確。對應(yīng)到AB測試中，就是檢驗實驗組&對照組，指標(biāo)是否有顯著差異。

既然是假設(shè)檢驗，那么就是先假設(shè)，再收集數(shù)據(jù)，最后根據(jù)收集的數(shù)據(jù)來做檢驗。

先來說說假設(shè)。

假設(shè)一般成對出現(xiàn)，分為零假設(shè) 和備選假設(shè)。

在AB測試中，零假設(shè)是：實驗組&對照組指標(biāo)相同，無顯著差異；備選假設(shè)則相反，實驗組&對照組指標(biāo)不同，有顯著差異。

舉個例子。我們優(yōu)化了某算法，想提高頁面的點擊率。針對這個場景的AB測試，零假設(shè)就是新算法&老算法的頁面點擊率無明顯差異，備選假設(shè)是新算法&老算法的頁面點擊率有顯著差異。

再來說說檢驗。

一般來說，我們是通過具體的指標(biāo)屬性來找尋相應(yīng)的檢驗方法。那么問題來了，指標(biāo)如何分類呢？

指標(biāo)可以分為兩種類別：

1、絕對值類指標(biāo)。也就是我們平常直接計算就能得到的，比如DAU，點擊次數(shù)等。我們的一般都是統(tǒng)計該指標(biāo)在一段時間內(nèi)的均值或者匯總值，不存在兩個值之間還要相互計算。

2、相對值類指標(biāo)。與絕對值類指標(biāo)相反，我們不能直接計算得到。比如某頁面的CTR，我們是用頁面點擊數(shù) / 頁面展現(xiàn)數(shù)。我們要計算點擊數(shù)和展現(xiàn)數(shù)，兩者相除才能得到該指標(biāo)。類似的，還有XX轉(zhuǎn)化率，XX點擊率，XX購買率一類的。我們做的AB實驗，大部分情況下都想提高這類指標(biāo)。

根據(jù)指標(biāo)我們可以知道，該如何計算最小樣本量，以及實驗周期，以及對應(yīng)的檢驗方法。

AB測試詳細(xì)流程

我們先看一個圖，結(jié)合這個實驗的流程圖，我們一點點來說：

選取指標(biāo)

在做AB測試之前，我們一定要清楚，我們實驗的目標(biāo)是什么。并落地到具體的幾個指標(biāo)上，這幾個指標(biāo)對于我們度量實驗結(jié)果，有非常明顯的幫助。但是，指標(biāo)也要分層級，唯一一個核心指標(biāo)+多個觀察指標(biāo)。

核心指標(biāo)用來度量我們這次實驗的效果，以及計算相應(yīng)的樣本量。觀察指標(biāo)則用來度量，該實驗對其他數(shù)據(jù)的影響（比如對大盤留存的影響，對網(wǎng)絡(luò)延遲的影響等等）。

建立假設(shè)

建立假設(shè)就如同上文所說，我們建立了零假設(shè)和備選假設(shè)，零假設(shè)一般是沒有效果，備選假設(shè)是有效果。

選取實驗單位

大家應(yīng)該都使用用戶粒度來作為實驗單位，但是總體說來，實驗單位一般有3種。我們不用掌握，但是很多情況下面試官會問到，大家可以作為了解。

1、用戶粒度：這個是最推薦的，即以一個用戶的唯一標(biāo)識來作為實驗樣本。好處是符合AB測試的分桶單位唯一性，不會造成一個實驗單位處于兩個分桶，造成的數(shù)據(jù)不置信。

2、設(shè)備粒度：以一個設(shè)備標(biāo)識為實驗單位。相比用戶粒度，如果一個用戶有兩個手機，那么也可能出現(xiàn)一個用戶在兩個分桶中的情況，所以也會造成數(shù)據(jù)不置信的情況。

3、行為粒度：以一次行為為實驗單位，也就是用戶某一次使用該功能，是實驗桶，下一次使用可能就被切換為基線桶。會造成大量的用戶處于不同的分桶。強烈不推薦這種方式。

計算樣本量

樣本量計算，我們需要了解一下中心極限定理。具體書面定義和推導(dǎo)過程，大家可以在網(wǎng)上百度一下就好，我們這里就通俗的解釋一下。中心極限定理的含義，就是只要樣本量足夠大，無論是什么指標(biāo)，無論對應(yīng)的指標(biāo)分布是怎樣的，樣本的均值分布都會趨于正態(tài)分布。

基于正態(tài)分布，我們才能計算出相應(yīng)的樣本量和做假設(shè)檢驗。具體的樣本量計算推導(dǎo)過程，大家如有需要，可以關(guān)注后加我微信私聊，這里就放結(jié)論。

整體公式如下：

由于指標(biāo)可以分為將絕對值指標(biāo)和相對值指標(biāo)。對應(yīng)的，我們在計算絕對值指標(biāo)和相對值指標(biāo)時，標(biāo)準(zhǔn)差的計算方式也會不同。具體如下：

我們舉兩個例子說明一下，讓大家更有體感。

案例1-相對值指標(biāo)：

某產(chǎn)品點擊率1.5%，波動范圍[1.0%,2.0%]，優(yōu)化了該功能后，需要AB測試計算樣本量

P：1.5%，p：2.0%（由于波動范圍是[1.0%,2.0%]，所以至少是2.0%

總樣本量 = 16 * （1.5%*（1-1.5%）+2.0%*（1-2.0%））/ （2.0%-1.5%）^2=22000

案例2-絕對值指標(biāo)：

某產(chǎn)品購買金額標(biāo)準(zhǔn)差是25，優(yōu)化了該功能后，預(yù)估至少有5元的絕對提升，需要AB測試計算樣本量

σ=25，Δ=5

總樣本量 = 16 * 25*25*2/5*5=800

最小樣本量，是指我們的實驗單位，必須滿足這個數(shù)量，實驗結(jié)果中的數(shù)據(jù)檢驗才可信。也就是說，我們的實驗桶必須達(dá)到這個流量，才能收集數(shù)據(jù)及檢驗指標(biāo)。

流量分割

流量切割有兩種方式：分流和分層。

分流是指我們直接將整體用戶切割為幾塊，用戶只能在一個實驗中。但是這種情況很不現(xiàn)實，因為如果我要同時上線多個實驗，流量不夠切怎么辦？那為了達(dá)到最小樣本量，我們就得延長實驗周期，要是做一個實驗，要幾個月，相信我，你老板一定會和你聊聊人生理想的。

另一種方式，分層。就是將同一批用戶，不停的隨機后，處于不同的桶。也就是說，一個用戶會處于多個實驗中，只要實驗之間不相互影響，我們就能夠無限次的切割用戶。這樣在保證了每個實驗都能用全流量切割的同時，也保證了實驗數(shù)據(jù)是置信的。

兩種方式用圖來表達(dá)如下：

實驗周期計算

相應(yīng)的，最小樣本量有了，我們切分了流量，知道了實驗桶一天大概能有多少樣本量（也可以算小時，如果產(chǎn)品的流量足夠大）。我們直接用最小樣本量 / 實驗桶天均流量即可以得到相應(yīng)的實驗周期。

線上驗證

很多公司不會做線上驗證。當(dāng)然，不驗證也沒關(guān)系，就是有可能會踩坑，所以還是建議大家在實驗上線后進(jìn)行線上驗證。

線上驗證主要是2個方向，一個是驗證實驗策略是否真的觸發(fā)。即我們上線的實驗桶，是否在產(chǎn)品上實際落地了。比如你優(yōu)化了一個產(chǎn)品功能，你可以去實際體驗下，實驗桶產(chǎn)品是否真的有優(yōu)化。

另一個是驗證同一個用戶只能在同一個桶中，要是同時出現(xiàn)在兩個桶中，后期數(shù)據(jù)也會不置信。這個上文有說過。

數(shù)據(jù)檢驗

數(shù)據(jù)檢驗，大家可能都聽過。比如Z檢驗，T檢驗，單尾檢驗，雙尾檢驗，算P值，算置信區(qū)間等等。我們這里先說說哪種情況用Z檢驗，哪種情況用T檢驗。因為這個問題經(jīng)常會碰到，也是AB測試中，面試官的必問問題。

大家應(yīng)該都看過這個圖：

賈俊平老師的書中就有這個圖，具體的公式和原理書中有非常明細(xì)的介紹，關(guān)注公眾號之后領(lǐng)取的“ 資料 ”中就有這本書的電子版PDF。

按照上文我們說的指標(biāo)分類，一般情況下，絕對值指標(biāo)用T檢驗，相對值指標(biāo)用Z檢驗。因為絕對指標(biāo)的的總體方差，需要知道每一個用戶的值，這個在AB實驗中肯定不可能。而相對值指標(biāo)是二項分布，可以通過樣本量的值計算出總體的值，就如同10W人的某頁面點擊率是10%，隨機從這10W人中抽樣1W人，這個點擊率也是10%一樣。

再來說說具體的檢驗。一般情況下我們可以用兩種常用方法：

1、算P值，也就是算當(dāng)零假設(shè)成立時，觀測到樣本數(shù)據(jù)出現(xiàn)的概率。統(tǒng)計學(xué)上，將5%作為一個小概率事件，所以一般用5%來對比計算出來的P值。當(dāng)P值小于5%時，拒絕零假設(shè)，即兩組指標(biāo)不同；反過來，當(dāng)P值大于5%時，接受零假設(shè)，兩組指標(biāo)相同。

2、算置信區(qū)間。一般情況下，我們都會用95%來作為置信水平。也就是說，當(dāng)前數(shù)據(jù)的估計，有95%的區(qū)間包含了總體參數(shù)的真值。這么說可能比較繞，我們可以簡單理解成總體數(shù)據(jù)有95%的可能性在這個范圍內(nèi)。

我們計算兩組指標(biāo)的差異值，如果我們算出的差異值置信區(qū)間不含0，我們就拒絕零假設(shè)，認(rèn)為兩組指標(biāo)不同；但是如果包含0，我們則要接受零假設(shè)，認(rèn)為兩組指標(biāo)相同。

當(dāng)然，我們也可以直接算出Z值或者T值，查表對比。但是這種不是很常用，還是以P值及置信區(qū)間為主流。

還有些公司，會將所有指標(biāo)計算到為不同流量區(qū)間內(nèi)的自然波動。比如我有三個指標(biāo)，日活100W，那么可以拆分成多個流量區(qū)間，比如 1w、2w、5w、10w、20w、50w，100w這幾個流量比例，然后依次計算這3個指標(biāo)，在這些流量下的自然波動閾值，如果高于閾值，我們就認(rèn)為實驗有效。這種就會方便很多，但是不夠嚴(yán)謹(jǐn)。

最后來說說單尾檢驗，雙尾檢驗。單尾檢驗的前提是我們不僅認(rèn)為兩組指標(biāo)不同，還明確了大小，一般情況下，我們都認(rèn)為實驗組的效果高于基線組。而雙尾檢驗只是認(rèn)為兩組指標(biāo)不同，未明確大小。通常來說，我們更推薦使用雙尾檢驗，為什么呢？

因為實驗本身就是一種利用數(shù)據(jù)來做決策的方法，我們不要再人為的帶入主觀設(shè)想。而是用雙尾檢驗，我們不僅能量化漲了多少，還能量化掉了多少，因為實驗結(jié)果有正有負(fù)，不一定都是有效果的（正向的），還可能有負(fù)向的效果，我們也可以將有負(fù)向效果的實驗記錄下來，沉淀成知識庫，為后期實驗避坑。

當(dāng)然，生活中有些事件是可以用單尾檢驗的。比如我們優(yōu)化了制造燈泡的流程，提升了燈泡的質(zhì)量，那對于燈泡的質(zhì)量檢驗我們就采用單尾檢驗就好，因為我們只關(guān)心燈泡質(zhì)量是否和預(yù)期一樣，有所提升。

知識點總結(jié)

以上，我們就講完了整體的AB測試的流程，以及流程中的各個需要用到的知識點。

我們來總結(jié)下知識點：

1、實驗流程是選取指標(biāo) -- 建立假設(shè) -- 選取實驗單位 -- 計算樣本量 -- 流量分割 -- 實驗周期計算 -- 線上驗證 -- 數(shù)據(jù)檢驗。

2、假設(shè)分為零假設(shè)和備選假設(shè)，零假設(shè)一般都是實驗無效（指標(biāo)無差異），備選假設(shè)是實驗有效（指標(biāo)有差異）。

3、指標(biāo)可以分為絕對值指標(biāo) 和相對值指標(biāo)，相應(yīng)的，絕對值指標(biāo)推薦用T檢驗，相對值指標(biāo)推薦用Z檢驗。

4、檢驗數(shù)據(jù)是否有效，可以算P值，高于5%就接受原假設(shè)，兩組指標(biāo)相同；也可以算置信區(qū)間的差異值，如果差異值包含0，則接受原假設(shè)，兩組指標(biāo)相同。

·················END·················

分析！AB測試詳細(xì)流程

AB測試原理簡介

AB測試詳細(xì)流程

知識點總結(jié)

推薦閱讀