A/B測試的定義、操作方法、案例與實用工具分享

   

    

     

      

       

        

         作者：Neil Patel
         

        
        

         翻譯：黃瑞迪
        
        

         校對：吳振東
        
       
      
     
    
   

無論你做多少調研，每個促銷活動都不能保證百分百成功。

這就是為什么A/B測試是一個為你的生意計算出最佳線上宣傳和營銷策略的絕妙方法。

它可以被用來測試任何東西，從網站正文到促銷郵件。這樣你就可以找到最有效的促銷方式，而不必把所有的預算都花在沒用的營銷物料上。雖然A/B測試可能會比較費時，但它帶來的好處足以抵消其時間成本。

總而言之，一個設計精良的A/B測試可以給你的營銷效果帶來巨大的變化，因為它可以縮小范圍，把一個宣傳活動中最有效的元素整合在一起，這樣不僅會提高回報率、降低風險，最重要的是，還可以形成一個更強有力的營銷計劃。

 

什么是A/B測試？它和我有什么關系？

A/B測試是一種銷售策略，它會把兩個版本的網頁、廣告、郵件、彈窗或者著陸頁進行對比，來看哪一個更加有效。

例如，你可以測試兩個不同版本的彈窗，來看哪一個帶來的網頁端注冊量更大；或者可以測試兩個不同版本的谷歌廣告，來看哪一個帶來的銷量更大。這樣你就會洞悉自己該在什么地方、如何投入銷售預算，而且有勇氣采取一些存在潛在風險的行動。

在我自己的網站上，我測試了彈窗效果，發(fā)現(xiàn)了到底是什么促使用戶關注我的品牌。

 

一段時間之后，我們發(fā)現(xiàn)主動提供一次免費的網頁分析是在我們的目標受眾中建立專家口碑、向他們展現(xiàn)我們的價值的最好方式，因為這個網頁分析可以給我們的受眾帶來極大的價值。我們對比了點擊量和轉化率，以此作為指標來看哪個標題更容易把訪問我們網站頁面的人留下。

 

A/B測試是怎樣工作的？

A/B測試的基本工作原理是，把一個要素的兩個不同版本隨機分配給不同的用戶，比如廣告、網頁、彈窗、優(yōu)惠等。隨機分配非常重要，因為它可以避免結果有偏向性，從而提供更加準確的信息。

在兩個版本中，有一個版本是“控制組”，也就是當前已經投入使用的版本。另一個版本則改變前者的某一個元素。你也可以修改多個元素，但這樣在分析具體哪個要素帶來了變化時就會比較困難，這種方法被稱為“多變量測試”(https://neilpatel.com/blog/ab-testing-vs-multiple-variant/)。

例如，到訪你網站的用戶中，一半會看到一個藍色的“馬上搶購”的按鈕，而另一半則會看到一個紅色的。一段時間之后——一般是兩周——你就可以比較轉化率，看哪個顏色的按鈕帶來了更多的消費。

大多數(shù)營銷人員都會使用某種工具來創(chuàng)建和展示不同版本的內容，我們將會在后面的部分中提到A/B測試的常用工具。

 

為什么A/B測試很重要？

準確的A/B測試可以給投資回報帶來巨大的變化。通過控制測試和收集實際數(shù)據，你可以弄清楚到底哪些營銷策略對你的公司和產品最有用。

如果一個版本的效果可能是另一個版本兩倍、三倍、甚至四倍，而且還不會有損失大量資本的風險，那么不去測試做比較，就直接運作一個促銷計劃，顯然太粗心了。

如果測試能夠持續(xù)地進行，它會極大地改善你的結果。因為一旦你知道什么元素能起作用，什么元素不能起作用，而且有證據支持的話，你就可以輕松地做出決策，設計出更有效、適用時間更長的營銷策略。

在你的網站和營銷材料上有規(guī)律地進行A/B測試還有一些其他的好處：

• 它們會幫助你更好地了解自己的目標受眾：當你看到你的受眾會對哪些類型的郵件、標題或其他特征做出回應后，你會更清晰地知道他們是誰、他們想要什么。

• 更高的轉化率：A/B測試是提高轉化率最有效的方式。知道什么能用、什么不能用，可以給你切實可行的數(shù)據，幫助你提高轉化的效率。

• 時刻掌握變化的潮流：預測人們會對什么類型的內容、圖像或其他特征做出回應是很難得。經常進行測試可以讓你領先于消費者的變動行為。

• 降低跳出率：當造訪你網站的人看到他們喜歡的內容時，他們會在這里停留更長的時間。通過測試可以發(fā)現(xiàn)你的用戶更喜歡什么類型的內容和營銷材料，這樣能幫助你設計出更好的網頁，讓用戶愿意一直待在這里。

最終，你會重新掌控自己的營銷策略。不再需要閉著眼按下“發(fā)送”按鈕，祈禱著客戶們來回應了。

 

怎樣設計一個A/B測試？

設計一個A/B測試時，你首先需要弄清楚自己想要測試什么。你要做的是一個網頁內的測試，還是網頁外的測試呢？

如果是前者，你需要考慮你網頁上所有和銷量有關的細枝末節(jié)，再想好哪些元素需要做區(qū)別測試。

你可能會測試這些內容：

• 標題；

• 引導用戶去點擊的文本；

• 引導用戶去點擊的位置；

• 彈窗；

• 重要的圖像；

• 副本；

• 表單內的字段數(shù)量。

如果要做網頁外的測試，可能要么測試一個廣告，要么是測試一封促銷郵件。測試廣告副本來看哪一個版本的轉化率更高，這可以幫助你集中在廣告上的投入。一旦知道你的廣告已經達到最高的轉化率了，就可以跟輕松地決定跟進更多的資金。

這一點對郵件來說也是一樣的。向列表中的用戶發(fā)送兩個版本的郵件，隨機選擇哪一半收到哪個版本，再跟蹤哪一個轉化率更高。在郵件中，你可以調試郵件的結構、主題文案、圖片，甚至是優(yōu)惠力度。

知道你的受眾對什么內容反響最好，能夠讓你在將來編輯出更加有效的郵件。一旦你知道了你想給哪些營銷材料做A/B測試后，把它們全都列出來。如果你決定測試行動呼吁的材料，你可以測試：

• 它的位置；

• 具體使用的文案；

• 按鈕的顏色或背景空間。

A/B測試是一個整體的流程，在做出最終決策之前進行多次拆分測試是很常見的。

 

上手做吧！A/B測試步驟清單

在你開始拆分測試（A/B測試的別稱）之前，確保你清楚地知道自己想要看什么結果。你應該已經知道基線結果是什么了，那就是你現(xiàn)有的結果。你想要對比選項A和選項B，但你也想知道，兩者中表現(xiàn)更好的那個是否也比現(xiàn)行的版本更好。

或者你也可以把現(xiàn)行版本原封不動地作為控制組A，在B中進行一些修改。

所有的測試必須同時進行以便對時機有最好的把控。你不能今天測試只這個版本，明天只測試另一個版本，因為此一時彼一時，你無法將兩天出現(xiàn)的事件都控制成一樣的。例如，臉書上可能有一個新的促銷活動或一條微博突然爆火，這些都可能影響你的測試結果。

相反，你應該把所有的流量切分好，同時分別分配給不同的版本。

下面是你在做第一次測試前可以用來檢查的清單：

1. 確定你要測試的元素；

2. 制作同一則廣告、到達頁或應用程序等的兩個版本；

3. 確定測試的持續(xù)時間。我建議至少持續(xù)兩周，不過也可以根據你的流量大小和行業(yè)情況適度調整；

4. 選擇一個測試工具（詳后）；

5. 啟動！

6. 兩周后，查看結果，看看哪一個版本贏了；

7. 清洗并重復。A/B測試要持續(xù)做才是最有效的。

 

哪些項目最值得測試？

實際上，你可以測試營銷材料或網站上的任何東西：標題、行為召喚（CTA）、正文、圖片、搜索欄的位置等等。只要你能修改它，你就可以測試它。

但這不意味著你應該花上好幾個月的時間測試每一個細節(jié)。相反，你應該關注那些更有可能對流量和轉化造成重大影響的變化。

在網站上，這些變化可能包括：

• 標題；

• CTA；

• 所有和你的營銷效果直接相關的圖表；

• 促銷文本或產品介紹；

• 特征圖片；

• 按鈕的大小和位置。

在郵件中，你可以測試標題、圖片、鏈接、CTA或者受眾分層。在一個付費的廣告匯總，尤其是文本廣告中（如搜索廣告中），你能修改的東西很少，所以你可以測試主標題、優(yōu)惠、圖像或目標對象。

測試不同的優(yōu)惠非常關鍵，只要確保每個人每次收到的優(yōu)惠力度是一樣的。例如，如果一個免費的禮品被發(fā)給了組A，一個折扣被發(fā)給了組B，那么你需要確保組A中的成員永遠是一樣的，組B也是一樣。

也可以測試全部組合版本的轉化率。例如，你可以先同時測試“新聞稿A+著陸頁A”的組合與“新聞稿B+著陸頁B”的組合。之后你可以再測試“新聞稿A+著陸頁B”的組合與“新聞稿B+著陸頁A”組合的對比。

這樣可以讓你更清楚地知道什么東西在起作用，尤其當你得到了一個混合的結果或結果非常接近的時候。這里還有一些其他你可以做的測試：

Other Tests You Can Run：

https://neilpatel.com/blog/9-ab-tests-that-you-can-run-tomorrow-to-double-your-conversions/

 

沒有靈感？看幾個實例吧

既然我們已經講完了什么是A/B測試、可以測試什么，以及怎么做A/B測試，現(xiàn)在讓我們看一些具體的例子吧。通過這些例子我們可以看到A/B測試的強大力量，而且會讓你發(fā)現(xiàn)一些不做A/B測試時會忽視的要點。

 

GRENE測試了商品頁的縱向布局

GRENE是一家線上零售商，他們通過A/B測試找出了一種讓用戶更容易找到自己想要的產品的方法，在原來的版本中（左圖），一個產品會占據移動設備的整個屏幕，導致用戶很難滾動頁面查看不同的產品。

這個版本的變體（右圖）減少了空白，讓用戶可以同時看到好幾個產品，也更容易滾動頁面來查看各種選擇。 

 

結果：通過改變商品頁面的布局，GRENE的產品點擊率增長了15%，轉化率增長了16%，而且到達“謝謝惠顧”頁面的比率增長了10%，到達這里表示一個用戶完成了一次購買。

 

WallMonkeys通過把條圖換成搜索欄增加了轉化率

WallMonkeys是一家線上墻紙網站，他們想要增加轉化率，改善用戶體驗。通過使用CrazyEgg的熱圖，他們可以看到哪個區(qū)域是絕大多數(shù)客戶會最先看的。

基于上述信息，他們決定把條狀的特色圖像（上圖）換成搜索欄（下圖）。

 

結果：通過去掉特色圖像、把搜索欄移到頁面中間（基于熱圖數(shù)據），他們的轉化率提高了550%。

Unbounce對比了推特版和郵箱版的選擇性加入頁面 

Unbounce曾經試圖尋找增加到達頁選擇性加入比率的方法。盡管大多數(shù)的公司會向用戶索要郵箱地址，Unbounce決定看看用戶是否會更喜歡收到關于產品的推特推送。

因此，他們比較了這個索要郵箱地址選擇性加入頁面：

 

而下面這個版本讓用戶通過發(fā)送一條推特來獲得同樣的課程： 

 

這對注冊率有怎樣的影響呢？

結果：Unbounce發(fā)現(xiàn)用戶更傾向于通過填寫一個郵箱地址來獲得課程。郵箱版本的轉換率比推特版高24%。這個結果并不令人驚訝，因為畢竟大多數(shù)人已經習慣了填寫郵箱地址了，但這個測試讓Unbounce有了信心，因為他們著陸頁的設計思路是對的。

 

A/B測試需要花多長時間？

A/B測試不是一夜之間完成的。根據你的流量大小，你的測試時長可能持續(xù)數(shù)天到數(shù)周。記住，你一次只能進行一項測試以獲得最準確的結果。

測試時長不夠會使結果產生偏誤，因為你沒有聚集從統(tǒng)計上的準確性來說足夠多的訪問者。然而，測試時長過長也會帶來偏誤的結果，因為時間越長，你無法控制的因素就越多。

確保自己始終關注那些可能影響測試結果的所有因素，這樣你就可以解釋結果中數(shù)據的異常現(xiàn)象了。一旦有疑問，再進行一次測試就行了。

考慮到A/B測試可能對你的盈虧狀況造成的影響，用幾周來做適當?shù)臏y試是很值得的。每次測試一個變量，并且給予每個測試足夠的測試時長。

 

我可以一次測試多個元素嗎？

這個問題有兩種回答。假設你只想測試你的標題，但是你有三種可能的版本。在這種情況下，把你的訪問者或郵件的收信人分成三組而不是兩組是合理的，然后進行一次測試，這樣仍然可以看作是一個A/B測試。

這樣比分別進行三個測試效率更高（即A vs. B，B vs. C，和A vs. C）。你可能需要更長的時間來測試，這樣你才能收到足夠多的結果，確認是什么因素真正在起作用。

一次測試多個元素，如標題和CTA，被稱作多變量測試，也更加復雜。這里也有很多關于多變量測試的資源 (https://vwo.com/blog/15-free-ab-split-testing-resources/)。

你還需要考慮你的系統(tǒng)是否能夠承受拆分測試，而且有沒有員工可以分析多因素的結果，并且將數(shù)據整合到可消化的量級。

多變量測試會一下子讓你要處理的事情變得很多，但這并不是不能做的。如果你能設計出合適的程序來處理額外的工作，那么去做就好了——但如果你想要一個更簡單的方法，一次做一個A/B測試就可以了。

 

如何分析A/B測試的數(shù)據？

A/B測試結束后，你會得到一堆數(shù)據。怎樣知道哪個版本勝出了呢？有時勝者是很明顯的。例如，如果一個版本的到達頁提升了50%的郵件訂閱量，即使不做數(shù)據分析你也知道誰勝出了。

但在其他的情況下，結果未必這么顯而易見。下面是一些確認哪個版本勝出的方法：

1. 確保你有足夠的數(shù)據：選出在更長的周期內運行的版本，一個最好的方法就是確保你有兩周左右的測試數(shù)據，即至少帶來了30人次的轉化。

2. 使用一個A/B測試重要性計算器：有些工具自帶A/B測試重要性計算器，或者你也可以使用我提供的免費工具 (https://neilpatel.com/ab-testing-calculator/)。只要把你的訪問量和轉化量輸入進去就可以知道新版本增加的銷量了。

3. 不要只看那些明顯的指標：不是所有的指標都同樣重要。總的來說，我建議你看轉化率和流量。然而，有的公司可能會把注意力集中在其他的指標上，例如平均的訂單金額。例如，把你的“購買”按鈕換成藍色可能會帶來更多的轉化，但這些顧客可能每單的花費明顯少很多，所以你還需要繼續(xù)挖掘。

 

幾個不錯的A/B測試工具

如果你覺得A/B測試聽起來很復雜，不用擔心，你并不孤單。很多營銷人員和企業(yè)老板都不想做A/B測試，因為他們要么覺得工作量太大，要么擔心自己會出錯。我希望上面的建議會讓你有信心，覺得自己可以正確地進行A/B測試。現(xiàn)在我們來談談你做A/B測試時可以用的一些工具。

使用什么工具取決于你想測試什么樣的元素。例如，如果你想要測試郵件的標題，你的郵箱服務商可能會提供這樣的工具（MailChimp和Constant Contact這兩家都會提供）。臉書廣告也提供這個元素的工具。

這里還有一些便宜或免費的軟件可以用來測試網頁上的元素，并幫助你發(fā)現(xiàn)哪一個元素的變化是最有效的。

 

一個免費的A/B測試顯著性計算器

如果你想知道一個頁面布局或網頁文本的改變對銷量有什么影響，那么可以試試我開發(fā)的這個工具。在我設計的這個計算器 (My calculator：https://neilpatel.com/ab-testing-calculator/) 中，你可以輸入訪問量和轉化量，然后它就可以告訴你某個變量是否帶來了銷量的增加、增加了多少。

 

常見問題與解答

1. 什么是A/B測試？它和我有什么關系？

A/B測試是一種營銷策略，它會把兩個版本的網頁、廣告、郵件、彈窗或者著陸頁進行對比，來看哪一個更加有效。它是增加轉化率最高效的方法之一。

2. 怎樣設計一個A/B測試？

決定要測試什么，涉及兩個版本，決定測試時長，選擇一個工具，最后看哪個版本更好即可！

3. 我該測試什么？

付費廣告、網頁及營銷材料中的任何部分都可以測試，包括但不限于彈窗、郵件、著陸頁和特征圖片。

4. A/B測試需要花多長時間？

絕大多數(shù)測試至少需要進行兩周，但A/B測試需要持續(xù)進行。

5. 我可以一次測試多個元素嗎？

在某些情況下可以。但總的來說，最好一次只測試一個元素的兩個版本。

6. 我該用哪些A/B測試的工具呢？

谷歌的Optimize是一個免費且功能強大的A/B測試工具。你的郵件平臺、著陸頁工具或網頁插件都有可能提供這項服務。至于付費軟件，可以考慮Optimizely (Optimizely: https://www.optimizely.com/)。

 

小結

A/B測試是營銷人員最好的朋友。它可以讓你看到諸如“哪個廣告帶來最多的轉化”、“你的用戶會回應什么樣的優(yōu)惠”、或者“什么樣的標題帶來最多的流量”等問題的答案。

這里有一系列的工具可供你起步，包括谷歌的Optimize這個免費軟件和Optimizely。

如果你想開始著手做A/B測試，你可以通過《如何在Google Analytics上進行A/B測試》 (https://neilpatel.com/blog/how-to-run-an-ab-test-in-google-analytics/) 這篇文章來學習。記住：A/B測試是一個所有營銷人員都應該使用的絕妙工具。

 

你嘗試過A/B測試嗎？如果沒有，什么在阻礙你呢？

 

原文標題：

A/B Testing: Definition, How it Works, Examples, & Tools

原文鏈接：

https://neilpatel.com/blog/ab-testing-introduction/

編輯：黃繼彥

校對：林亦霖

譯者簡介

黃瑞迪，清華大學外國語言學及應用語言學碩士在讀，本科畢業(yè)于清華大學外國語言文學系。對兒童如何利用環(huán)境中的數(shù)據迅速學會自己的母語非常感興趣，同時也希望從紛繁復雜的數(shù)據中把握住關鍵點，讓為信息所困的自己和人們不再迷茫。

• 推薦10個鮮為人知的免費學習網站

• 吐血整理：人工智能、機器學習領域13個常見概念

• 數(shù)據分析師常用的十種數(shù)據分析思路