陳文琦：揭秘Google、Netflix、亞馬遜的通用增長(zhǎng)神器A/B測(cè)試｜深響

故事要從18世紀(jì)說(shuō)起。

工業(yè)革命、啟蒙運(yùn)動(dòng)，人類的底層邏輯被刷新，科學(xué)的研究方法與成果掀起層層浪潮，一些困擾多年的難題被解開(kāi)。在歐洲，以航海為生命的維京后代們繼續(xù)著他們的遠(yuǎn)征，但不幸的是，長(zhǎng)期遠(yuǎn)洋航行的水手船員在惡劣的海上環(huán)境中常被壞血病困擾。

一邊是經(jīng)濟(jì)社會(huì)的蓬勃發(fā)展，對(duì)于更多資源的饑渴需求，一邊則是出海的勇士們被壞血病折戟，嚴(yán)重的時(shí)候超過(guò)半數(shù)船員再也無(wú)法回到起航時(shí)的港口。幸運(yùn)的是，英國(guó)海軍醫(yī)生詹姆斯·林德發(fā)現(xiàn)了一種神奇的巧合——食譜中有柑橘類的水果的船員患?jí)难〉膸茁矢?，船員的救命藥難道就是再普通不過(guò)的青檸（lime）嗎？

質(zhì)疑醫(yī)生的人很多。他選擇用一種在今天看來(lái)已經(jīng)非常普通且廣泛運(yùn)用在互聯(lián)網(wǎng)的方法來(lái)證明自己的猜想——A/B測(cè)試。

他把患病的12名船員們分成六組，確保病人們的基本食物一樣，所處環(huán)境也相同，唯一的變量是，給每組開(kāi)出了不同的療法：一組船員的飲食中加入青檸、一組加入橘子、一組加蘋果、一組加醋、一組加酏劑、一組加海水。結(jié)果顯而易見(jiàn)，攝入橘子和青檸的兩組很快就痊愈了。

這是兩百多年前的壞血病實(shí)驗(yàn)，其采納的A/B測(cè)試已經(jīng)成為醫(yī)學(xué)領(lǐng)域最為常見(jiàn)的實(shí)驗(yàn)方法。而如今，A/B測(cè)試也已在醫(yī)學(xué)之外的領(lǐng)域開(kāi)花結(jié)果，成為了包括硅谷在內(nèi)，全球互聯(lián)網(wǎng)與商業(yè)的方法圭臬——在多種因素都對(duì)實(shí)驗(yàn)結(jié)果有影響時(shí)，保證其他條件相同，來(lái)證明某一變量對(duì)結(jié)果的確切影響。A/B測(cè)試以小成本快速試錯(cuò)，用客觀數(shù)據(jù)結(jié)果糾偏人們的主觀臆斷，讓產(chǎn)品與生意最大限度地科學(xué)增長(zhǎng)。

或許有人會(huì)問(wèn)，這不就是簡(jiǎn)單的對(duì)照組實(shí)驗(yàn)嗎？但千萬(wàn)別小看A/B測(cè)試，它不只是粗暴地分組比較，而是基于實(shí)驗(yàn)對(duì)象的精細(xì)測(cè)評(píng)，每一個(gè)維度的篩選、每一個(gè)差異刺激的設(shè)計(jì)，都需要嚴(yán)謹(jǐn)?shù)囊罁?jù)和判斷。在這個(gè)信息爆炸、場(chǎng)景碎片化的多樣化時(shí)代，變量無(wú)處不在，如何做好一個(gè)A/B測(cè)試，測(cè)之有因，測(cè)其所得，并不是件簡(jiǎn)單的事。

與此同時(shí)，商業(yè)社會(huì)空前繁盛，競(jìng)爭(zhēng)激烈到每一個(gè)罅隙的增長(zhǎng)都必須爭(zhēng)取，生意對(duì)于失敗的容錯(cuò)率非常低。而A/B測(cè)試便是那個(gè)科學(xué)分析、最大限度規(guī)避風(fēng)險(xiǎn)、敏捷增長(zhǎng)的利器。

從1990年代后期開(kāi)始，科技巨頭就開(kāi)始借助A/B測(cè)試來(lái)確定最優(yōu)方案，并逐漸形成自己的測(cè)試平臺(tái)和體系。今天，包括Google、Facebook、亞馬遜在內(nèi)的大公司每年都進(jìn)行數(shù)千到數(shù)萬(wàn)次實(shí)驗(yàn)，新一代在數(shù)據(jù)驅(qū)動(dòng)思維里成長(zhǎng)起來(lái)的初創(chuàng)企業(yè)也見(jiàn)識(shí)到了A/B測(cè)試帶來(lái)的增長(zhǎng)魔力。

Google先驅(qū)

互聯(lián)網(wǎng)行業(yè)的AB測(cè)試本質(zhì)上是一種“先驗(yàn)”的實(shí)驗(yàn)體系，針對(duì)某一需要改進(jìn)的功能、頁(yè)面或是產(chǎn)品，提供兩種或以上的方案，合理分配流量，將不同方案發(fā)布給不同用戶。在運(yùn)行一段時(shí)間后，結(jié)合各項(xiàng)指標(biāo)和科學(xué)的統(tǒng)計(jì)方法，對(duì)比實(shí)驗(yàn)數(shù)據(jù)做出決策，將最優(yōu)方案更新給全量用戶。

通常的流程是，確定目標(biāo)、建立實(shí)驗(yàn)假設(shè)、設(shè)定指標(biāo)評(píng)估影響、設(shè)計(jì)及開(kāi)發(fā)實(shí)驗(yàn)方案、確定測(cè)試時(shí)長(zhǎng)和分流方案等、采集和分析數(shù)據(jù)、最后進(jìn)行評(píng)估得出結(jié)論。通過(guò)科學(xué)的實(shí)驗(yàn)設(shè)置，測(cè)試不僅可以對(duì)比出哪種方案更好，還能預(yù)測(cè)性地通過(guò)一些指標(biāo)（比如用戶的訪問(wèn)時(shí)間、留存度、下單率等），量化最優(yōu)方案好多少。

Google是互聯(lián)網(wǎng)界A/B測(cè)試的先驅(qū)。

早在2000年，Google工程師就進(jìn)行了他們的第一次A/B測(cè)試，用于確定搜索結(jié)果頁(yè)面上展示多少條對(duì)用戶最友好。這次嘗試稱不上成功。世紀(jì)之交，緩慢的網(wǎng)頁(yè)加載速度未能允許實(shí)驗(yàn)達(dá)到預(yù)期。

但是Google成為了A/B測(cè)試的忠實(shí)擁護(hù)者，僅僅在2011年一年時(shí)間里，這家搜索巨頭就進(jìn)行了7000多次的測(cè)試。

當(dāng)Google在Gmail郵箱里推出廣告的時(shí)候，團(tuán)隊(duì)想知道：有沒(méi)有一種理想的藍(lán)色能夠更吸引用戶點(diǎn)擊鏈接？為此，他們對(duì)41種藍(lán)色——從藍(lán)中帶綠到綠中帶藍(lán)——進(jìn)行了A/B測(cè)試。結(jié)果是，一種略帶紫調(diào)的藍(lán)色比其他藍(lán)色更能促進(jìn)點(diǎn)擊率。這誰(shuí)能猜到呢？而這個(gè)微小到用戶也許根本注意不到的細(xì)節(jié)改變，卻為公司帶來(lái)了每年2億美元的額外廣告收入。

現(xiàn)在，Google每個(gè)月都會(huì)上線幾百個(gè)大大小小的A/B測(cè)試。這些實(shí)驗(yàn)，每年直接給公司帶來(lái)了超過(guò)10億美元的增收。

這種提供決策依據(jù)的方法充分彰顯了互聯(lián)網(wǎng)“數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)”的理念。

很多時(shí)候，A/B測(cè)試被用來(lái)決定非常細(xì)微的功能變化。例如，是否在新標(biāo)簽頁(yè)中打開(kāi)搜索結(jié)果——雖然這一功能可以在設(shè)置中自定義或者通過(guò)快捷鍵實(shí)現(xiàn)，但是通過(guò)A/B測(cè)試，Google發(fā)現(xiàn)將切換按鈕在搜索框下突出顯示時(shí)，用戶體驗(yàn)更好。

而現(xiàn)在許多用戶已經(jīng)習(xí)慣的“暗黑模式”其實(shí)也經(jīng)歷了幾番測(cè)試。

雖然乍一看優(yōu)化的只是細(xì)枝末節(jié)，但是基于Google龐大的用戶量，每個(gè)不起眼的改動(dòng)能產(chǎn)生巨大的影響。

A/B測(cè)試貫穿了Google的產(chǎn)品目錄和公司整體運(yùn)行，有時(shí)候，測(cè)試會(huì)在更大的范圍和更長(zhǎng)的時(shí)間跨度里進(jìn)行。比如對(duì)于即時(shí)通信的解決方案，Google看上去非常“猶豫不決”，推出過(guò)Google Talk、Google Chat、Google+ Messenger、Huddle、Hangouts等。

Google希望通過(guò)測(cè)試內(nèi)部的多個(gè)解決方案，找到優(yōu)勝者，先一步贏得市場(chǎng)，而不是坐以待斃，等外部的競(jìng)爭(zhēng)者找到開(kāi)啟增長(zhǎng)的密鑰再加以復(fù)制。

因此，對(duì)于Google來(lái)說(shuō)，A/B測(cè)試是不可或缺的。這是公司用來(lái)感知用戶的最佳途徑；做產(chǎn)品決策的科學(xué)思路；也是最大化廣告效果，增加收入的策略。

值得注意的是，從自己摸索A/B測(cè)試方法，到形成行之有效的測(cè)試體系，Google還將A/B測(cè)試的能力開(kāi)放給外部客戶。

比如Google的Google Optimize，提供了易用的A/B測(cè)試工具，降低了開(kāi)發(fā)者和廣告主做測(cè)試的門檻，并可以關(guān)聯(lián)Google Analytics進(jìn)行數(shù)據(jù)分析。

一個(gè)“被賦能”的案例是，音樂(lè)流媒體Spotify在海外擴(kuò)張時(shí)，想為不同區(qū)域的聽(tīng)眾差異化著陸頁(yè)，但這在研發(fā)上要耗費(fèi)巨大成本。在德國(guó)市場(chǎng)，它使用Optimize為對(duì)聽(tīng)書功能（Audiobook）感興趣的用戶定制了一個(gè)著陸頁(yè)。結(jié)果是，新頁(yè)面相比原版本，付費(fèi)用戶率提升了24%。最終，Spotify在全球范圍內(nèi)應(yīng)用了這一設(shè)計(jì)。

開(kāi)放測(cè)試能力，這一方面是企業(yè)價(jià)值觀的體現(xiàn)，Google致力于拓展良性的生態(tài)環(huán)境，讓伙伴受益從而優(yōu)化整個(gè)商業(yè)環(huán)境；另一方面也說(shuō)明A/B測(cè)試本身經(jīng)過(guò)幾十年的發(fā)展，已經(jīng)逐漸成熟為一門獨(dú)立的學(xué)問(wèn)了。

風(fēng)靡硅谷

硅谷沒(méi)有秘密，A/B測(cè)試也不是Google的專屬。在“精益創(chuàng)業(yè)”思想浪潮的席卷下，硅谷的諸多巨頭都用上了A/B測(cè)試這一增長(zhǎng)利器，并且將其傳道。

流媒體巨頭Netflix就是A/B測(cè)試的信奉者之一，并且樂(lè)此不疲地在自己的科技博客里分享其A/B測(cè)試實(shí)踐中的方法和經(jīng)驗(yàn)。

“如果消費(fèi)者在90秒內(nèi)沒(méi)有找到可觀看的內(nèi)容，他們就會(huì)離開(kāi)?！盢etflix在博客里強(qiáng)調(diào)。為了在這短短的90秒內(nèi)抓住用戶，Netflix絞盡腦汁。其在UI布局設(shè)計(jì)、個(gè)性化主頁(yè)、播放功能等等環(huán)節(jié)都會(huì)進(jìn)行A/B測(cè)試，因?yàn)橐粋€(gè)簡(jiǎn)單的標(biāo)題或者圖片改動(dòng)就能讓觀看量得到20%-30%的增長(zhǎng)。據(jù)「深響」了解，國(guó)內(nèi)的一些視頻網(wǎng)站也采取了類似的做法。

Netflix早期進(jìn)行的經(jīng)典測(cè)試之一是關(guān)于影片或劇集的展示圖對(duì)點(diǎn)擊率的影響。

《人小志氣高》（The Short Game）是一部講述小學(xué)生在高爾夫球場(chǎng)上競(jìng)技的影片。Netflix對(duì)不同用戶組推送了不同的展示海報(bào)，并分析了幾個(gè)關(guān)鍵指標(biāo)，包括點(diǎn)擊率、總播放時(shí)長(zhǎng)、短時(shí)播放的比例、觀看的內(nèi)容比例等等，最終發(fā)現(xiàn)下圖中間（Cell 2）的海報(bào)勝出了，實(shí)驗(yàn)用戶組平均的點(diǎn)擊率比默認(rèn)組高14%。

這是一個(gè)信號(hào)——展示海報(bào)對(duì)用戶行為可以產(chǎn)生影響。證實(shí)這個(gè)假設(shè)之后，Netflix繼續(xù)進(jìn)行更復(fù)雜、更多維度的測(cè)試去優(yōu)化用戶界面。

A/B測(cè)試是一個(gè)統(tǒng)計(jì)學(xué)與數(shù)學(xué)的實(shí)驗(yàn)，解構(gòu)每一個(gè)元素，如何盡量撇除其他因素的影響，從一次次測(cè)驗(yàn)中歸納出關(guān)于用戶行為的規(guī)律。

Netflix的技術(shù)人員在博客里寫到，他們通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，具有強(qiáng)表現(xiàn)力的面孔比平靜的更吸引用戶眼球；更具辨識(shí)度或者兩極化的人物形象表現(xiàn)通常更好；反派人物能得到較高點(diǎn)擊率；封面包含三個(gè)及以上人的時(shí)候點(diǎn)擊率又會(huì)下降……而這些實(shí)驗(yàn)結(jié)果也并非絕對(duì)的，不同地區(qū)的觀眾對(duì)圖像的反應(yīng)會(huì)產(chǎn)生差異，這要求顆粒度更細(xì)的實(shí)驗(yàn)和運(yùn)營(yíng)。

互聯(lián)網(wǎng)巨頭們?cè)贏/B測(cè)試的普及進(jìn)程中起到了標(biāo)桿性的作用。而這種科學(xué)精神在“大佬”們的推動(dòng)下已經(jīng)滲透了整個(gè)互聯(lián)網(wǎng)。

在“效率第一”的硅谷，產(chǎn)品決策的流程化在加速，A/B測(cè)試是重要一環(huán)。用戶們對(duì)于App的新功能感到興奮，但并不知道，在最終呈現(xiàn)之前，有多少版本在實(shí)驗(yàn)中落敗。

Snapchat的崛起讓社交網(wǎng)絡(luò)大哥Facebook感到恐慌。圍繞Snapchat獨(dú)特的“閱后即焚”和“快拍”功能，F(xiàn)acebook在旗下的不同社交平臺(tái)上展開(kāi)了一系列測(cè)試。一次次失敗之后，允許用戶發(fā)布24小時(shí)限時(shí)內(nèi)容的“快拍”（Stories）的功能現(xiàn)身在Instagram上，為這個(gè)已略顯疲態(tài)的圖片社交產(chǎn)品注入新鮮感。

為了更高效率地在移動(dòng)端進(jìn)行A/B測(cè)試，F(xiàn)acebook開(kāi)發(fā)了Airlock測(cè)試框架，助力內(nèi)部開(kāi)發(fā)人員。

其實(shí)，A/B測(cè)試不僅有益于自身產(chǎn)品的優(yōu)化，也可賦能生態(tài)內(nèi)的客戶，實(shí)現(xiàn)雙贏，何樂(lè)而不為？我們看到，除了上文提到的Google，亞馬遜和Facebook也把一些A/B測(cè)試工具開(kāi)放給商家和廣告主。

比如亞馬遜，這家屢次登頂全球市值巔峰的公司就有多種適配的A/B測(cè)試工具，讓商家去檢驗(yàn)怎樣的商品名稱和展示頁(yè)可以有效提升品牌度和銷售量。

而Facebook作為廣告營(yíng)銷的重要平臺(tái)，也完善了適用于各個(gè)場(chǎng)景的A/B測(cè)試工具，讓廣告主和品牌來(lái)評(píng)估各項(xiàng)方案，實(shí)現(xiàn)投放效益最大化。

不止是巨頭

A/B測(cè)試不只是互聯(lián)網(wǎng)巨頭的殺手锏，它也是游戲、媒體、金融等行業(yè)的?？汀Ｔ诠韫?，無(wú)論公司大小都已意識(shí)到A/B測(cè)試對(duì)于決策的重要性。

2013年，著名的互動(dòng)軟件娛樂(lè)公司藝電（Electronic Arts）上線《模擬城市5》之后兩周就賣出了110萬(wàn)份。其中游戲50%的銷售都來(lái)自于網(wǎng)上下載，傲人的成績(jī)歸功于一個(gè)近乎完美的A/B測(cè)試。

藝電為游戲銷售頁(yè)面設(shè)計(jì)了兩個(gè)方案。一個(gè)版本是，促銷的信息顯示在預(yù)訂的頁(yè)面banner 上，讓購(gòu)買者一目了然；另一個(gè)方案是把促銷信息刪了。實(shí)驗(yàn)結(jié)果是沒(méi)有促銷信息的版本相較前者的轉(zhuǎn)化率提升了43.4%。最終他們采用了這一方案，實(shí)現(xiàn)了上述銷量。

這個(gè)A/B測(cè)試的結(jié)果甚至是有點(diǎn)“反常識(shí)”的，依據(jù)人的經(jīng)驗(yàn)，折扣信息往往可以刺激消費(fèi)者的購(gòu)買欲，但是通過(guò)實(shí)驗(yàn)，顯然這并不適用于《模擬城市5》的目標(biāo)群體。

有促銷信息的版本（上）與沒(méi)有促銷信息的版本（下）

媒體行業(yè)也常用A/B測(cè)試的方式對(duì)標(biāo)題進(jìn)行實(shí)驗(yàn)，來(lái)吸引網(wǎng)絡(luò)時(shí)代越來(lái)越不耐心的讀者們 。

《紐約時(shí)報(bào)》采取A/B測(cè)試，在其網(wǎng)站上為同一文章展示不同標(biāo)題，在一些案例中，一個(gè)好標(biāo)題可以提升成倍的閱讀量。比如，《紐約時(shí)報(bào)》編輯寫到，“巴爾的摩的反省，弗雷迪·格雷周年祭”（Soul-Searching in Baltimore, a Year After Freddie Gray’s Death）和“弗雷迪·格雷死亡之后的巴爾的摩：‘心境已變’”（Baltimore After Freddie Gray: The ‘Mind-Set Has Changed’）相比，后一標(biāo)題的閱讀量得到1677%的提升。

有意思的是，A/B測(cè)試還收獲了政客們的青睞。

2008年，奧巴馬團(tuán)隊(duì)競(jìng)選團(tuán)隊(duì)為募捐網(wǎng)站設(shè)計(jì)了4種按鈕和6個(gè)不同的圖像。對(duì)24種不同組合，團(tuán)隊(duì)進(jìn)行了數(shù)據(jù)跟蹤，最終下圖右上角的界面獲勝，注冊(cè)率相比原始界面提高了40.6%。這40.6%的新增用戶直接帶來(lái)了額外的近6000萬(wàn)美元的捐款。

這次A/B測(cè)試的成功，促使競(jìng)選團(tuán)隊(duì)的數(shù)據(jù)分析總監(jiān)丹·西羅克 （Dan Siroker）在2009年創(chuàng)立了Optimizely，一個(gè)A/B測(cè)試工具平臺(tái)，幫助沒(méi)有技術(shù)背景的用戶測(cè)試不同版本的網(wǎng)站，優(yōu)化體驗(yàn)。

我們?cè)噲D尋找美國(guó)商業(yè)大亨們抵觸A/B測(cè)試的案例，但抱歉的是，這種科學(xué)思路其實(shí)是西方社會(huì)普遍推崇的思維方式，“你不需要跟他們解釋太多，因?yàn)锳/B測(cè)試根上的理念就是他們小時(shí)候天天學(xué)的邏輯、實(shí)驗(yàn)、critical thinking（辯證思維）?！币晃辉诠韫裙ぷ鞯娜A人工程師告訴「深響」。

幾百年來(lái)，A/B測(cè)試的核心原理始終未變。作為“數(shù)據(jù)驅(qū)動(dòng)”、“科學(xué)精神”的完美體現(xiàn)，更作為一種前置驗(yàn)證的手段，A/B測(cè)試幫助企業(yè)驗(yàn)證了策略收益，避免錯(cuò)誤策略所帶來(lái)的負(fù)面影響，其所帶來(lái)的收益將遠(yuǎn)大于企業(yè)所付出的成本。

在這樣的共識(shí)與汗牛充棟的成功案例下，A/B測(cè)試得到硅谷巨頭們的擁躉，成為各行各業(yè)大大小小企業(yè)、產(chǎn)品的增長(zhǎng)利器、工具標(biāo)配。當(dāng)然，暖風(fēng)吹過(guò)西海岸，這把利器也正在大洋彼岸的中國(guó)發(fā)光發(fā)熱，并且逐步展現(xiàn)出本地化的特色和新意。

—— 如果覺(jué)得文章還OK，請(qǐng)轉(zhuǎn)發(fā) ——

特別提示：關(guān)注本專欄，別錯(cuò)過(guò)行業(yè)干貨！

PS：本司承接 小紅書 / 淘寶逛逛 / 抖音 / 百度系 / 知乎 / 微博/大眾點(diǎn)評(píng) 等 全網(wǎng)各平臺(tái)推廣；

咨詢微信：139 1053 2512 (同電話)

首席增長(zhǎng)官CGO薦讀：

• 《首席增長(zhǎng)官 – 增長(zhǎng)黑客 Growth Hacker》
• 《小紅書 – 增長(zhǎng)黑客 Growth Hacker》
• 《視頻號(hào) – 增長(zhǎng)黑客 Growth Hacker》

更多精彩，關(guān)注：增長(zhǎng)黑客（GrowthHK.cn）

增長(zhǎng)黑客（Growth Hacker）是依靠技術(shù)和數(shù)據(jù)來(lái)達(dá)成各種營(yíng)銷目標(biāo)的新型團(tuán)隊(duì)角色。從單線思維者時(shí)常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實(shí)現(xiàn)低成本甚至零成本帶來(lái)的有效增長(zhǎng)…