100種分析思維模型（009號(hào)）
你好，我是林驥。
假設(shè)你是某個(gè) APP 的負(fù)責(zé)人，你的團(tuán)隊(duì)成員正在爭(zhēng)論不休，因?yàn)橐粋€(gè)頁(yè)面的設(shè)計(jì)改版，現(xiàn)在面臨一個(gè)選擇難題：到底是選擇 A 方案好？還是 B 方案好呢？
今天介紹的第 009 號(hào)分析思維模型：A / B 測(cè)試模型，能幫你做出更加科學(xué)的選擇。
1. 模型介紹
A / B 測(cè)試，是指在同一時(shí)間段，給同類用戶分別展示優(yōu)化前和優(yōu)化后的方案，并通過數(shù)據(jù)分析，判斷是否符合預(yù)期的一種試驗(yàn)方法。
廣告界有一句經(jīng)典的名言：
我知道在廣告上的投資有一半是無用的，但問題是我不知道是哪一半。
這句話在傳統(tǒng)的廣告行業(yè)一直有效。
但是，隨著互聯(lián)網(wǎng)的發(fā)展，人們能夠快速獲取大量的用戶行為數(shù)據(jù)，從而能夠準(zhǔn)確地衡量廣告的效果，減少無效廣告的投放，這背后的關(guān)鍵技術(shù)就是 A / B 測(cè)試模型。
互聯(lián)網(wǎng)時(shí)代，細(xì)節(jié)決定成敗。
谷歌、臉書、字節(jié)跳動(dòng)等知名互聯(lián)網(wǎng)公司，都在大量應(yīng)用 A / B 測(cè)試，無論是顏色的調(diào)整，還是位置的擺放，或者是文案的設(shè)計(jì)，很多細(xì)節(jié)都會(huì)通過 A / B 測(cè)試來進(jìn)行驗(yàn)證，從而實(shí)現(xiàn)產(chǎn)品的持續(xù)優(yōu)化。
2. 應(yīng)用舉例
A / B 測(cè)試在互聯(lián)網(wǎng)、醫(yī)療、金融等領(lǐng)域都有著廣泛的應(yīng)用，以 APP 設(shè)計(jì)方案的選擇為例：
首先，要明確判斷好壞的指標(biāo)是什么，例如轉(zhuǎn)化率高代表好。
其次，要合理地分割流量，保證 A 組和 B 組的用戶特征基本一致，并且都具有代表性，能夠代表總體用戶特征。
如果總體流量比較大，為了減少測(cè)試可能造成的損失，在剛開始測(cè)試的時(shí)候，建議先小范圍嘗試，例如拿 2% 的流量，其中 1% 的用戶作為 A 組，另外 1% 的用戶作為 B 組。
當(dāng)流量足夠大時(shí)，還可以根據(jù)用戶的特征（如年齡、性別等）切分出更細(xì)致的用戶群體分別進(jìn)行 A / B 測(cè)試，盡量排除其他因素的互相干擾。
然后，通過數(shù)據(jù)分析，對(duì)比測(cè)試結(jié)果，并做顯著性檢驗(yàn)。
你可以利用網(wǎng)上的AB測(cè)試結(jié)果分析工具，輸入訪問數(shù)和轉(zhuǎn)化數(shù)，就能自動(dòng)計(jì)算出轉(zhuǎn)化率和統(tǒng)計(jì)顯著性數(shù)值。
假如檢驗(yàn)結(jié)果不顯著，那么有可能是因?yàn)闃颖玖坎蛔?，建議加大測(cè)試的比例，以期得到更加明確的測(cè)試結(jié)果，這樣才能指導(dǎo)下一步的決策行動(dòng)。
最后，在大膽假設(shè)的基礎(chǔ)上，一定要小心求證，考慮是否需要進(jìn)行灰度發(fā)布，讓一部分用戶先試用新的版本，避免出現(xiàn)辛普森悖論那樣的情形，否則可能造成不良影響。
辛普森悖論，是英國(guó)統(tǒng)計(jì)學(xué)家辛普森于 1951 年提出來的，即在某個(gè)條件下的兩組數(shù)據(jù)，分別討論時(shí)都會(huì)滿足某種性質(zhì)，可是一旦合并考慮，卻可能導(dǎo)致相反的結(jié)論。
A 組有 1000 個(gè)男性和 200 個(gè)女性，轉(zhuǎn)化率分別為 10% 和 75%； B 組有 200 個(gè)男性和 1000 個(gè)女性，轉(zhuǎn)化率分別為 5% 和 50%；
但是，如果把男性和女性合并到一起，A 組轉(zhuǎn)化率卻只有 20.8%，還不到 B 組轉(zhuǎn)化率 42.5% 的一半。
所以，我們?cè)谧?A / B 測(cè)試的過程中，需要特別注意分組的權(quán)重，消除分組基數(shù)差異所造成的影響，讓測(cè)試的樣本能夠真實(shí)反映整體的分布。
因?yàn)榱颗c質(zhì)不是等價(jià)的，然而由于量更加容易測(cè)量，所以人們總是習(xí)慣用量來評(píng)定好壞，但結(jié)果卻可能是沒有抓住重點(diǎn)。
從辛普森悖論中，我們可以得到一點(diǎn)啟示：甲做了很多不重要的小事，而乙做了少量非常重要的大事，最終甲取得的成就可能會(huì)遠(yuǎn)不如乙。
這也是為什么我們要牢記二八法則，用 20% 的高效時(shí)間，重點(diǎn)去做好那些能產(chǎn)生 80% 效果的重要的事。
最后的話
應(yīng)用 A / B 測(cè)試模型，也要遵循要事優(yōu)先的原則，運(yùn)用全局思維，優(yōu)先去做那些對(duì)業(yè)務(wù)影響比較大的測(cè)試，而不是不分輕重緩急，眉毛胡子一把抓。
我們從小經(jīng)歷過各種各樣的考試，大致都有這樣的體會(huì)：從 0 分到 90 分，從 90 分到 99 分，再?gòu)?99 分到 100 分，這三者所花的時(shí)間是差不多的。分?jǐn)?shù)越高，難度越大，效率越低。
在計(jì)算機(jī)軟件開發(fā)領(lǐng)域，有一種「九九定律」，也稱為 90-90 法則：
前 90% 的代碼要花費(fèi) 90% 的開發(fā)時(shí)間，剩余的 10% 的代碼要再花費(fèi) 90% 的開發(fā)時(shí)間。
在做 A / B 測(cè)試之前，我們可以先花少量的時(shí)間，快速定位正確的方向，先把細(xì)枝末節(jié)放一放（后面如果有必要再做優(yōu)化也不遲），這樣就能實(shí)現(xiàn)快速迭代，形成良性循環(huán)，從而獲得更好的結(jié)果。
數(shù)學(xué)有超越現(xiàn)實(shí)的美，而現(xiàn)實(shí)中人類的行為和想法太過復(fù)雜，就像投資經(jīng)常失敗的牛頓所說的：
我可以預(yù)測(cè)天體的運(yùn)動(dòng)，卻無法預(yù)測(cè)人類的瘋狂。
在用數(shù)據(jù)化解難題的過程中，一種分析思維模型的應(yīng)用，可以增進(jìn)自己對(duì)另一種模型的理解，這是我學(xué)習(xí)總結(jié) 100 種分析思維模型的額外收獲。
往期推薦
