<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          谷歌、微軟、亞馬遜6個驚人的A/B測試實例

          共 5716字,需瀏覽 12分鐘

           ·

          2021-05-10 15:41

          導(dǎo)讀:本文介紹的其他實例都有不同尋常且出乎預(yù)料的正面結(jié)果。


          作者:羅恩·科哈維(Ron Kohavi)、黛安·唐(Diane Tang)、許亞(Ya Xu)
          來源:大數(shù)據(jù)DT(ID:hzdashuju)





          如果你認為一件事情會發(fā)生,然后它真的發(fā)生了,那么你不會學(xué)到什么。如果你認為一件事情會發(fā)生,但沒有發(fā)生,那么你會學(xué)到一些重要的東西。如果你原本認為一件事情不值一提,但它帶來了驚人的或突破性的結(jié)果,那么你會學(xué)到一些非常有價值的東西。 


          必應(yīng)和社交網(wǎng)絡(luò)(如臉書和推特)相結(jié)合的嘗試,是一個沒有達到預(yù)期效果的例子——這一嘗試在歷經(jīng)了長達兩年的多個結(jié)果顯示無價值的實驗后告棄。


          雖然經(jīng)久的進步來自持續(xù)的實驗和很多小的改進(如必應(yīng)廣告的例子所示),但這里介紹的幾個有驚人效果的例子表明了我們有多不擅長預(yù)估想法的價值。 



          01 UI實例:41階藍


          谷歌和微軟的很多例子都一致顯示:小的界面設(shè)計決策也可能有重大的影響。谷歌在搜索結(jié)果頁面上測試過41個階度的藍色,這讓當時的視覺設(shè)計負責人很受挫。


          然而,谷歌對配色方案的調(diào)整給用戶活躍度帶來了實質(zhì)性的提高(谷歌沒有報告單一改動的結(jié)果),并促成了之后設(shè)計團隊和實驗團隊的高度協(xié)作關(guān)系。


          微軟的必應(yīng)也做過類似的配色改動,幫助用戶更成功地完成任務(wù),改善了任務(wù)成功需時,將美國市場的年營收提高了超過1千萬美金。 


          這些都是微小改動帶來巨大影響的很好的例子,但由于配色方案已經(jīng)被廣泛地測試,在更多實驗中“玩”配色已不太可能帶來更加顯著的改進。 



          02 在正確的時機顯示推廣


          2004年,亞馬遜在主頁上放置了信用卡推廣,該推廣帶來了可觀的利潤,但是點擊率(Click-Through Rate, CTR)很低。團隊進而運行了把該推廣移至購物車頁面的實驗,用戶把商品加入購物車后,可以看到一個簡單的計算,從而對該信用卡帶來的優(yōu)惠額度一目了然,如圖1.5所示。


          ▲圖1.5 亞馬遜購物車的信用卡推廣

          因為已經(jīng)在購物車添加了商品的用戶有非常明確的購物意圖,所以這一推廣出現(xiàn)在了正確的時機。對照實驗顯示這一簡單的改動幫助亞馬遜增加了數(shù)千萬美金的年利潤。 


          03 個性化推薦

          亞馬遜的Greg Linden做過一個產(chǎn)品雛形,根據(jù)用戶購物車里的商品顯示個性化的推薦。當你添加一件商品時,會看到一些推薦,再添加另一件商品,會看到新的推薦。

          Grey Linden指出,雖然這個產(chǎn)品雛形看起來頗有前景,但一個市場營銷高級副總裁極力反對,稱它會分散用戶注意力而影響結(jié)賬。Greg Linden被禁止繼續(xù)這項工作。

          盡管如此,他還是運行了一個對照實驗,并且這一新功能大幅獲勝,放棄它將使亞馬遜蒙受可觀的損失。帶著新的緊迫性,購物車推薦很快被發(fā)布了。如今,很多網(wǎng)站都在使用購物車推薦模型。 


          04 速度非常關(guān)鍵

          2012年,微軟必應(yīng)的一個工程師對JavaScript的生成方式做了改動,大大縮短了HTML到達客戶端的時間,從而提高了性能。相應(yīng)的對照實驗顯示了多項指標令人驚嘆的改進。

          他們接著做了跟進實驗來測量對服務(wù)器性能的影響。結(jié)果顯示性能提高的同時也顯著提高了關(guān)鍵用戶指標,例如成功率和首任務(wù)成功需時,且每10毫秒的性能提升(眨眼速度的1/30)足以支付雇傭一個全職工程師一年的成本。

          2015年,隨著必應(yīng)性能的提高,人們產(chǎn)生了疑問:服務(wù)器結(jié)果返回時間的95百分位數(shù)(即95%的搜索請求)已經(jīng)在1秒以下,進一步提高性能是否仍有價值。必應(yīng)的團隊開展了跟進研究,發(fā)現(xiàn)關(guān)鍵用戶指標仍舊得到了顯著提高。

          雖然對營收的相對影響有一定程度的減弱,但由于必應(yīng)的營收在那幾年增長如此之多,以至于性能上每1毫秒的提升都比過去更有價值,每4毫秒的改進就能雇傭一個工程師一年!

          許多公司都做過性能實驗,結(jié)果都顯示性能多么關(guān)鍵。在亞馬遜,一個100毫秒的減速實驗使銷售額減少了1%。必應(yīng)和谷歌的一個聯(lián)合講演展示了性能對關(guān)鍵指標的顯著影響,包括去重搜索詞條、營收、點擊率、用戶滿意度和首點擊需時。 


          05 減少惡意軟件

          廣告是一項有利可圖的生意,用戶安裝的“免費軟件”經(jīng)常包含插入廣告污染頁面的惡意軟件。圖1.6顯示了一個含有惡意軟件的必應(yīng)搜索結(jié)果頁面。注意有多個廣告(用方框圈出)被插入這個頁面。

          ▲圖1.6 含惡意軟件的必應(yīng)頁面顯示了多個廣告

          這些不相關(guān)的低質(zhì)量廣告不僅移除了必應(yīng)自己的廣告,從而侵占了微軟的營收,也給用戶帶來了糟糕的體驗,用戶可能都沒有意識到為什么他們會看到這么多廣告。

          微軟對380萬潛在受影響的用戶運行了一個對照實驗:修改文檔對象模型(Document Object Model, DOM)的基本路徑被覆寫,只允許少數(shù)可靠來源的修改。結(jié)果顯示必應(yīng)所有的關(guān)鍵指標(包括人均會話數(shù))都有所提高,這意味著用戶訪問的增加或用戶流失的減少。

          除此之外,用戶的搜索也更加成功,能更快地點擊到有用的鏈接,必應(yīng)的年營收也增加了數(shù)百萬美金。前文討論過的關(guān)鍵性能指標,比如頁面加載需時,在受影響頁面上也提升了幾百毫秒。


          06 后端改動

          后端算法的改動是在運用對照實驗時常常被忽視的領(lǐng)域,但它可能帶來重大影響。這里我們討論一個來自亞馬遜的實例。

          回到2004年,當時亞馬遜已經(jīng)有了基于兩個數(shù)據(jù)集的很好的推薦算法。其標志性功能本來是“買了X的用戶也買了Y”,但后來被延伸為“瀏覽了X的用戶也買了Y”和“瀏覽了X的用戶也瀏覽了Y”。

          有人提出了一個方案,使用同樣的算法推薦“搜索了X的用戶也買了Y”。這個算法的支持者給出了含義不明的搜索的例子,比如“24”,多數(shù)人會聯(lián)想到Kiefer Sutherland主演的電視劇。

          亞馬遜的原算法對“24”返回的結(jié)果比較糟糕(圖1.7左),有會24首意大利歌曲的CD、24月齡嬰兒穿的衣服、24英寸的毛巾桿等。而新的算法表現(xiàn)比較出色(圖1.7右),根據(jù)用戶搜索“24”后實際購買的項,返回了相關(guān)電視劇的DVD和書籍的搜索結(jié)果。

          ▲圖1.7 有BBS(Behavior-Based Search,基于用戶行為的搜索)和沒有BBS時在亞馬遜上搜索“24”的結(jié)果

          該算法的一個不足是返回的某些商品并沒有包含搜索關(guān)鍵詞。亞馬遜運行了一個對照實驗,即使有上述不足,這一改動也將亞馬遜的營收提高了3%——數(shù)百萬美金。

          關(guān)于作者:羅恩·科哈維(Ron Kohavi)是愛彼迎的副總裁和技術(shù)院士,曾任微軟的技術(shù)研究員和公司副總裁。在加入微軟之前,他是亞馬遜的數(shù)據(jù)挖掘和個性化推薦總監(jiān)。他擁有斯坦福大學(xué)計算機科學(xué)博士學(xué)位,論文被引用超過40 000次,其中有3篇位列計算機科學(xué)領(lǐng)域引用最多的1 000篇論文榜。
          黛安·唐(Diane Tang)是谷歌院士,大規(guī)模數(shù)據(jù)分析和基礎(chǔ)設(shè)施、線上對照實驗及廣告系統(tǒng)方面的專家。她擁有哈佛大學(xué)的文學(xué)學(xué)士學(xué)位和斯坦福大學(xué)的碩士及博士學(xué)位,在移動網(wǎng)絡(luò)、信息可視化、實驗方法、數(shù)據(jù)基礎(chǔ)設(shè)施、數(shù)據(jù)挖掘和大數(shù)據(jù)方面擁有專利和出版物。
          許亞(Ya Xu)是領(lǐng)英數(shù)據(jù)科學(xué)與實驗平臺負責人,曾撰寫了多篇關(guān)于實驗的論文,并經(jīng)常在頂級會議和大學(xué)演講。她曾在微軟工作,擁有斯坦福大學(xué)的統(tǒng)計學(xué)博士學(xué)位。

          本文摘編自關(guān)鍵迭代:可信賴的線上對照實驗》,經(jīng)出版方授權(quán)發(fā)布。

          延伸閱讀關(guān)鍵迭代:可信賴的線上對照實驗
          點擊上圖了解及購買
          轉(zhuǎn)載請聯(lián)系微信:DoctorData

          推薦語:愛彼迎、谷歌、領(lǐng)英A/B測試領(lǐng)軍人物撰寫,亞馬遜、谷歌、微軟和領(lǐng)英等公司互聯(lián)網(wǎng)產(chǎn)品成功的秘訣!谷歌院士JeffDean、臉書首任CTO、沈向洋等37位專家推薦。本書基于近些年實驗領(lǐng)域的研究成果和實踐經(jīng)驗,對實驗的方法和應(yīng)用做了很好的全景式描述,是一本兼顧系統(tǒng)性的方法論和基于實戰(zhàn)的經(jīng)驗法則的書籍。



          劃重點??


          干貨直達??


          更多精彩??

          在公眾號對話框輸入以下關(guān)鍵詞
          查看更多優(yōu)質(zhì)內(nèi)容!

          PPT | 讀書 | 書單 | 硬核 | 干貨 | 講明白 | 神操作
          大數(shù)據(jù) | 云計算 | 數(shù)據(jù)庫 | Python | 爬蟲 | 可視化
          AI | 人工智能 | 機器學(xué)習(xí) | 深度學(xué)習(xí) | NLP
          5G | 中臺 | 用戶畫像 1024 | 數(shù)學(xué) | 算法 數(shù)字孿生

          據(jù)統(tǒng)計,99%的大咖都關(guān)注了這個公眾號
          ??
          瀏覽 20
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  成人偷拍小视频 | 91麻豆午夜视频 | 国产一级片免费播放 | 百度一下| 亚洲欧美天堂 |