你們好，我是寶器！

“A/B測試不一定是最好的評估方法。它不是萬能的，但不會A/B測試肯定是不行的。”

字節(jié)跳動副總裁楊震原在一次分享會上，表達了他對于A/B測試的理解。

楊震原認為：A/B測試是字節(jié)跳動一項非常基礎的工具，從公司成立之初就在使用，支撐了抖音、今日頭條等產(chǎn)品的增長迭代。目前，字節(jié)跳動A/B測試每日新增1500+實驗，服務于400多項大大小小的業(yè)務，累計做了70多萬次實驗。這項工具已經(jīng)實現(xiàn)產(chǎn)品化，通過火山引擎向企業(yè)客戶開放。

A/B測試廣泛應用于字節(jié)跳動方方面面，包括產(chǎn)品命名、交互設計、推薦算法等。但楊震原表示，這項工具也存在很多應用局限，比如獨立性、置信度、長短期等問題。

其實為了幫助提升創(chuàng)新產(chǎn)品的成功率，頭條內(nèi)部甚至研發(fā)出了一套增長引擎，可能你們公司的幾個產(chǎn)品運營還在糾結(jié)功能按鈕排序時，人家頭條已經(jīng)同時進行幾十組甚至上百組的 A/B 測試，幫助產(chǎn)品經(jīng)理和運營們找最優(yōu)方案。

 

大數(shù)據(jù)時代，每個公司都在說數(shù)據(jù)驅(qū)動產(chǎn)品和業(yè)務的快速迭代，但是要看這間公司到底是不是真·數(shù)據(jù)驅(qū)動，最關鍵的就是要看它決策流程中到底有沒有 A/B 測試這一環(huán)節(jié)，來提供值得信賴的結(jié)果，輔助產(chǎn)品決策。

 

             

產(chǎn)品決策流程

 

就好比一個剛剛研制成功的藥品，不經(jīng)過臨床實驗就直接推入市場，去治療病人，那承擔的風險是非常高的。因為這樣不僅可能無法治愈病人，甚至還可能會產(chǎn)生嚴重的副作用。而A/B測試，就是保證這個關鍵環(huán)節(jié)不出現(xiàn)問題的最佳方案。

 

那用 A/B 測試，到底可以來解決什么具體的業(yè)務問題嗎？我給你一張總結(jié)的表格。 

              

可以說， A/B 測試在產(chǎn)品迭代、算法優(yōu)化、市場營銷等領域都發(fā)揮了巨大作用，越來越多的公司開始使用 A/B 測試，對人才的需求量也越來越大。無論是偏技術的數(shù)據(jù)科學家、數(shù)據(jù)分析師，還是偏業(yè)務和產(chǎn)品的市場營銷分析師、產(chǎn)品經(jīng)理以及增長黑客，都需要在工作中掌握和應用 A/B 測試，A/B 測試也是這些職位面試中必考的一塊內(nèi)容。

 

 

學習 A/B 測試的高效路徑是什么？

 

但學A/B 測試有個難點。這是一門實踐性很強的工具，如果你只有理論基礎而沒有實踐經(jīng)驗，那么實踐過程由于業(yè)務場景千變?nèi)f化，可能就會有各種各樣潛在的陷阱在等著你。只有兼顧了理論基礎和實踐經(jīng)驗，才能得出值得信賴的測試結(jié)果。

 

我這里有一套最佳學習路徑流程，如下圖??

       

學習路徑

 

這張圖出自在美國硅谷科技巨頭工作的張博偉和極客時間合作的專欄《A/B 測試從 0 到 1》。在專欄里，張博偉老師會先帶你建立起一個做 A/B 測試的框架，讓你在應對不同業(yè)務場景時，都能通過框架來按圖索驥，靈活運用。

 

新人首單￥59

拼團+口令「happy2021」到手僅 ￥69

 

張博偉是誰？

 

張博偉，從畢業(yè)后就一直在美國互聯(lián)網(wǎng)大廠 FLAG 工作，目前是一名資深數(shù)據(jù)科學家。在過去的7年多時間里，一直在做A/B測試、機器學習建模、大數(shù)據(jù)分析的相關工作。

 

張博偉老師曾參與從設計測試、實施測試到最后分析測試結(jié)果的全過程，后來逐步在團隊中主導 A/B 測試領域的相關工作，開發(fā)相關數(shù)據(jù)產(chǎn)品，還和工程團隊合作來改進內(nèi)部的 A/B 測試平臺，通過持續(xù)的 A/B 測試為公司的新業(yè)務帶來上百萬用戶的增長，也為數(shù)據(jù)分析、營銷和產(chǎn)品團隊提供數(shù)十場 A/B 測試的講座和上百次的咨詢，講解 A/B 測試的最佳實踐以及避坑經(jīng)驗。

 

怎么帶你學 A/B 測試？

 

張博偉老師結(jié)合他的從業(yè)經(jīng)驗，從統(tǒng)計原理、基本流程和進階實戰(zhàn)三個層面，為你梳理出了一條學習 A/B 測試的最佳路徑。

 

 

• 第一模塊是“統(tǒng)計篇”：

 

想要做好 A/B 測試，統(tǒng)計原理的學習不可或缺。老師精選了與 A/B 測試密切相關的統(tǒng)計理論，主要講解 A/B 測試的理論基礎-假設檢驗，以及 A/B 測試指標的統(tǒng)計屬性這兩塊知識，讓你有針對性的學習理論知識，真正打好做 A/B 測試的理論基礎。

 

• 第二模塊是“基礎篇”：

 

在這個模塊，老師梳理了做 A/B 測試的幾個關鍵步驟，包括確定目標和假設、確定指標、選取實驗單位、計算所需樣本大小，以及分析測試結(jié)果。會在講解流程的同時，也告訴你背后的原理，幫助你在實際應用時能舉一反三。

 

• 第三模塊是“進階篇”：

 

想要讓做 A/B 測試的技能更上一層樓，你還需要能夠識別那些在實際業(yè)務場景中潛在的坑，掌握相應的解決方法；了解 A/B 測試的適用范圍及替代方法；同時老師也會帶你掌握面試中關于 A/B 測試的常見考點及應對方法；手把手帶你制作實用的樣本量計算器，來解決網(wǎng)上工具參差不齊、適用范圍有限等問題。

        

挺多人表示課程很有用，我截幾個給你看看：

 

 

新人首單￥59

老用戶拼團+口令「happy2021」到手僅 ￥69

 

??點擊「閱讀原文」，一頓飯錢，從原理到實戰(zhàn)，吃透A/B測試。