<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          AB測試來源及適用場景

          共 2510字,需瀏覽 6分鐘

           ·

          2021-04-19 15:38


          你好,我是寶器!


          「原理」這個專題,主要介紹數(shù)據(jù)分析師的常用分析方法和原理。我們先從目前最常用的AB-Test講起。


          AB測試簡介

          越來越多的公司重視AB測試,按照筆者的經(jīng)驗,之前會Excel就行,SQL是加分項。后來變成了必須懂SQL,AB測試是加分項。再到后來變成了,AB測試和SQL都是必會的東西。


          因為從15年至今,人口紅利肉眼可見的減少,流量競爭從增量競爭變成了存量競爭。截至2020年底,互聯(lián)網(wǎng)用戶已經(jīng)高達10億。微信,支付寶,頭條,抖音這些巨型APP基本已經(jīng)瓜分了用戶的大部分時間,別的APP想要存活及增長,精細化運營就變成了必須。


          精細化從技術上,又無法避免AB測試。往往產(chǎn)品的認知并不是用戶的認知,所以我們需要去測試,去實驗用戶的喜好。選擇一個用戶偏愛的功能上線,才會不斷提高用戶滿意度,我們的APP才能活下來,并有一定程度的增長。


          AB測試是借鑒了實驗的思維,目標是為了歸因。通俗來說,就是我們想把條件分開,明確的知道,哪種條件下,用戶會買賬。這就需要三個條件:有對照組,隨機分配用戶,且用戶量足夠。


          最早的AB測試本身是起源于醫(yī)學。當一個藥劑被研發(fā)后,醫(yī)學工作人員需要評估藥劑的效果。一般就會選擇兩組用戶(隨機篩選的用戶),構建實驗組和對照組。用這兩組用戶來“試藥”。也就是實驗組用戶給真的藥劑,對照組用戶給安慰劑,但是用戶本身不知道自己是什么組,只有醫(yī)生指導。之后,在后期的觀察中,通過一些統(tǒng)計方法,驗證效果的差異性是否顯著,從而去校驗藥劑是否達到我們的預期效果。


          這個就是最早期的醫(yī)學“雙盲實驗”?;ヂ?lián)網(wǎng)行業(yè)其實也差不多是這么用。我們需要確認的是,當前改版,是否有效果,也就是說,我們需要驗證效果的“藥劑”變成了一個“改版”。


          業(yè)務把將web或者app界面或者流程,拆分為多個版本。然后將流量分層(或者分流),不同的人群使用的某個功能或者觸發(fā)的策略不同。但是這里的人群一定要滿足同質化的特性。所以無論分層還是分流,我們都需要將用戶隨機分配,且同一用戶不能處在兩個組內。


          通俗來說,AB測試是一種互聯(lián)網(wǎng)人口紅利減少的背景下,為了提高用戶滿意度,留下用戶而使用的一種利用數(shù)學原理來精細化運營的評估方法。


          AB測試適用場景


          當然,AB測試也不是每種迭代或者改版都能用。一般來說,三種場景可以使用AB測試,三種場景不能使用AB測試。

          產(chǎn)品迭代可以使用AB測試。比如界面優(yōu)化,功能增加,流程增加,這些都可以使用AB測試。因為我們是在原有基礎上做一定更新迭代,可以直接使用AB測試。

          算法優(yōu)化可以使用AB測試。同理,算法篩選,算法優(yōu)化這些我們都可以使用AB測試來測試。因為我們也可以通過流量切分構造實驗組和對照組來驗證效果。

          市場營銷的部分場景可以使用AB測試。內容的篩選,時間的篩選,人群的篩選,我們也可以使用AB測試來實驗驗證效果。

          但是,當變量不可控,或者樣本量比較小不足以支撐AB測試,或者我們的投放是全流量投放。這三種情況是不支持使用AB測試的。

          變量不可控,比如我們業(yè)務有兩個APP,我們想做一個策略,驗證是否能夠提高用戶使用了A產(chǎn)品,再去使用B產(chǎn)品的概率。這種是不支持AB測試的,因為用戶關閉一個APP后,非常多的不可控因素。

          樣本量較小也不支持AB測試,因為從統(tǒng)計學上來說,我們要驗證一個數(shù)據(jù)是否有效,還是需要一定的樣本量的。關于樣本量的計算,我們在下一篇來講。

          至于全量投放,比如我們開了一個發(fā)布會,換了一個logo,這種全量投放,怎么做AB測試?你可以讓用戶不來參與發(fā)布會還是讓用戶不看到新logo?!

          AB測試流程

          一般來說,產(chǎn)品的優(yōu)化迭代流程上分為三個階段:
          1、隨著業(yè)務的發(fā)展,我們萌生了優(yōu)化迭代的思考和想法,并落地成為具體的PRD或者其他需求文檔;
          2、有了需求文檔,我們需要將需求開發(fā)生產(chǎn),然后上線驗證實際效果是否符合預期;
          3、如果效果符合預期,那么我們則落地實施,如果不符合預期,就再次優(yōu)化迭代。

          AB測試在這個流程中,主要負責第2步,也就上線驗證優(yōu)化迭代這一步。通常來說,我們可以將AB測試分為三個部分:實驗前,實驗中,實驗后。

          實驗前:
          我們需要確認AB測試的內容,是產(chǎn)品迭代還是算法優(yōu)化。根據(jù)具體的的AB內容,選取相應的指標,并根據(jù)指標,選取實驗單位后計算最小樣本量,計算實驗所需要的時間??偨Y來說就是:定指標,選單位,算時間。

          實驗中:
          在這一步,我們需要將用戶打散后打標,并根據(jù)最小樣本量進行流量切割,上線實驗。上線試驗后,我們還需要驗證實驗策略是否符合預期,以及要保證一個用戶只能在同一個分桶內,不會同時出現(xiàn)在多個分桶中。總結來說,篩用戶,驗策略,保唯一。

          實驗后:
          在這里,我們需要驗證實驗是否有效,也就是流量配比是否符合預期。如果符合預期,我們則進行檢驗推斷,檢驗實驗指標是否有顯著差異。最后再和業(yè)務商定后決定后續(xù)迭代方向??偨Y來說,驗比例,做推斷,定迭代。

          這就是整體的AB測試的三個部分,以及每個部分中需要做的重點事情。

          知識點總結

          以上,我們就講完了AB測試的來源及AB測試的使用場景和需要經(jīng)歷的步驟。我們一起來回顧下主要的知識點。

          1、AB測試來源于醫(yī)學的雙盲實驗,主要為了驗證我們的改進是否有效果而進行的一個較為科學的檢驗方法。

          2、AB測試適用于產(chǎn)品迭代,算法優(yōu)化,以及一些市場營銷的場景;但是如果我們的變量不可控,或用戶量不足以支撐我們進行AB測試,或策略是全量投放時,我們不能進行AB測試。

          3、AB測試可以分為實驗前,實驗中,試驗后三個板塊。實驗前定指標,選單位,算時間;實驗中篩用戶,驗策略,保唯一;實驗后驗比例,做推斷,定迭代。
          ·················END·················

          推薦閱讀

          1. 超細節(jié)!數(shù)據(jù)分析社招面試指南

          2. 寫給所有數(shù)據(jù)人。

          3. 從留存率業(yè)務案例談0-1的數(shù)據(jù)指標體系

          4. 數(shù)據(jù)分析師的一周

          5. 超級菜鳥如何入門數(shù)據(jù)分析?


          歡迎長按掃碼關注「數(shù)據(jù)管道」

          瀏覽 39
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  在线观看女人爽网 | 求一个做爱视频网站免费在线观看 | 操操网继续操用力豆花 | 一卡二卡国产精品 | 黑人大鷄巴A片视频 |