最近我學(xué)到的ABTest知識(shí)
前言
什么是ABTest呢？這篇文章帶你們入門(mén)一下。只有光頭才能變強(qiáng)。
一、ABTest的介紹
比如我寫(xiě)了一篇關(guān)于ABTest的文章，我希望這篇文章的閱讀量能上2500，但是我沒(méi)想好標(biāo)題叫什么比較合適。一條推文的標(biāo)題非常能影響到閱讀量，于是我想了幾個(gè)的標(biāo)題：
最近我學(xué)到的AbTest知識(shí)
AbTest入門(mén)
而我不知道哪個(gè)標(biāo)題效果會(huì)更好一些，于是我做了這么一個(gè)嘗試：
《最近我學(xué)到的AbTest知識(shí)》這個(gè)標(biāo)題推送給10%的用戶
《AbTest入門(mén)》這個(gè)標(biāo)題推送給10%的用戶
過(guò)一段時(shí)間后，我看一下效果，哪個(gè)標(biāo)題的閱讀量更高，我就將效果高的標(biāo)題推送給剩余80%的用戶
ABTest過(guò)程要注意的是：在推送的文章的時(shí)候，除了標(biāo)題不同，其他因素都需要相同（不能被別的因素給干擾），這樣看數(shù)據(jù)的時(shí)候才有說(shuō)服力。
1.1為什么要做ABTest？
做ABTest的原因其實(shí)很簡(jiǎn)單，我們?cè)谧鰳I(yè)務(wù)的時(shí)候會(huì)有各種各樣的想法，比如說(shuō)：
“我覺(jué)得在文案上加入emoji表情，這個(gè)推送的消息的點(diǎn)擊率肯定高”
“我覺(jué)得這個(gè)按鈕/圖片換成別的顏色，轉(zhuǎn)化率肯定會(huì)提高”
“我覺(jué)得首頁(yè)就應(yīng)該設(shè)計(jì)成這樣，還有圖墻應(yīng)該是這樣這樣..“
…..
但是，并不是所有的想法都是正確的，很可能因?yàn)槟愕南敕ò咽醉?yè)的樣式改掉，用戶不喜歡，就影響到了GMV等等等….
一個(gè)好的產(chǎn)品都是迭代出來(lái)的，而我們很可能不清楚這次的迭代最終是好是壞（至少我們是覺(jué)得迭代對(duì)用戶是好的，是有幫助的，對(duì)公司的轉(zhuǎn)化也是好的），但是我們的用戶未必就買(mǎi)賬。
于是，為了降低試錯(cuò)成本，我們就做ABTest。一個(gè)功能做出來(lái)，我們只放小流量看下效果，如果效果比原來(lái)的功能差，那很可能我們這個(gè)想法沒(méi)有達(dá)到預(yù)期。如果小流量效果比預(yù)期要好，再逐步加大流量，直至全量。
二、怎么做ABTest？
從上面的案例，其實(shí)我們大概知道，ABTest最主要做的就是一個(gè)分流的事
將10%流量分給用戶群體A
將10%流量分給用戶群體A
分流我們需要保證的是：一個(gè)用戶再次請(qǐng)求進(jìn)來(lái)，用戶看到的結(jié)果是一樣的
比如說(shuō)，我訪問(wèn)了Java3y，他的簡(jiǎn)介是：“一個(gè)堅(jiān)持原創(chuàng)的Java技術(shù)公眾號(hào)“。而一個(gè)小時(shí)后，我再訪問(wèn)了他一次，他的簡(jiǎn)介是：“一個(gè)干貨滿滿的技術(shù)號(hào)“。而一個(gè)小時(shí)過(guò)后，我又訪問(wèn)了他一次，他的簡(jiǎn)介是：“一個(gè)堅(jiān)持原創(chuàng)的Java技術(shù)公眾號(hào)“。
這是不合理的，理應(yīng)上用戶在一段時(shí)間內(nèi)，看到的內(nèi)容是相同的，不然就給用戶帶來(lái)一種錯(cuò)亂感。
OK，于是一般可以這樣做：
對(duì)用戶ID(設(shè)備ID/CookieId/userId/openId)取hash值，每次Hash的結(jié)果都是相同的。
直接取用戶ID的某一位
現(xiàn)在看起來(lái)，ABTest好像就是一個(gè)分流的東西，只是取了個(gè)高大尚的名字叫做ABTest。
2.1 ABTest更多的內(nèi)容
假如我做了一個(gè)UI層面上的ABTest，占用全站的流量80%，現(xiàn)在我還想做搜索結(jié)果的ABTest怎么辦？只能用剩下的20%了？那我的流量不夠用啊（我可能要做各種實(shí)驗(yàn)的呢）。UI層面上的ABTest和搜索結(jié)果的ABTest能不能同時(shí)進(jìn)行啊？
答案是可以的。因?yàn)閁I層面和搜索結(jié)果(算法優(yōu)化)的業(yè)務(wù)關(guān)聯(lián)性是很低的。如果要做“同一份流量同時(shí)做UI層面上和搜索結(jié)果的ABTest”，那要保證“在UI層面做的ABTest不能影響到搜索結(jié)果的ABTest”
業(yè)界應(yīng)用最多的，是可重疊分層分桶方法
層與層之間的流量互不干擾，這就是很多文章所講的正交(流量在每一層都會(huì)被重新打散)
來(lái)源：https://www.infoq.cn/article/BuP18dsaPyAg-hflDxPf我們就可以這樣干：通過(guò) Hash(userId, LayerId) % 1000類似的辦法來(lái)實(shí)現(xiàn)
每一層的實(shí)驗(yàn)不管有多少個(gè)，對(duì)其他層的影響都是均勻的
我的理解：
為了實(shí)現(xiàn)UI/算法/廣告 這些業(yè)務(wù)上沒(méi)什么關(guān)聯(lián)的，能夠使用同一份流量做ABTest測(cè)試，所以分了層。流量經(jīng)過(guò)每一層都需要將流量重新打散(正交)----每層實(shí)驗(yàn)后，不會(huì)影響到下一層的實(shí)驗(yàn)
如果業(yè)務(wù)關(guān)聯(lián)強(qiáng)的應(yīng)該放在同一層，同一層多個(gè)實(shí)驗(yàn)是互斥的（比如 一個(gè)按鈕顏色改為綠色作為一個(gè)實(shí)驗(yàn)，一個(gè)按鈕的樣式改成大拇指作為一個(gè)實(shí)驗(yàn)。這兩個(gè)實(shí)驗(yàn)的流量是要互斥的（不然你咋知道用戶是因?yàn)槟愕陌粹o顏色還是樣式而點(diǎn)擊）
示意圖最后
一個(gè)完整的ABTest系統(tǒng)，不單單只做分流，還會(huì)給用戶(我們程序員)提供一個(gè)方便可配置的后臺(tái)系統(tǒng)，做完實(shí)驗(yàn)提供數(shù)據(jù)報(bào)表展示等等等~
推薦閱讀：
喜歡我可以給我設(shè)為星標(biāo)哦
好文章，我?在看?
