硅谷增長(zhǎng)專家Andrew Chen：AB測(cè)試的陷阱

A/B 測(cè)試是很多公司都在用的方法，但是我們常常發(fā)現(xiàn)，當(dāng)選出來(lái)的方案上線之后，實(shí)際效果并沒(méi)有測(cè)試出的增長(zhǎng)效果好。光澗實(shí)驗(yàn)室翻譯了硅谷增長(zhǎng)專家 Andrew Chen 最近的這篇博客，希望幫助大家解決這個(gè)問(wèn)題。

創(chuàng)業(yè)中，總會(huì)遇到讓人不太開(kāi)心事情：你通過(guò) A/B 測(cè)試，找到了轉(zhuǎn)化漏斗模型里的一個(gè)步驟可以提升 10% 的轉(zhuǎn)化率，然后你的收益、app 安裝量，或者其他指標(biāo)，也會(huì)剛好增加 10％ 嗎？

當(dāng)然不會(huì)??

通常的結(jié)果是，它會(huì)上升一點(diǎn)點(diǎn)，或者根本不會(huì)上升。

這是為什么呢？我稱這種現(xiàn)象為「意圖守恒定律」(Conservation of Intent，受能量守恒定律的啟發(fā)）。

意圖守恒定律

高意圖用戶和低意圖用戶之間的情況是不同的，而在所有進(jìn)入你的漏斗模型的用戶中，只有一些是高意圖用戶。僅僅通過(guò)簡(jiǎn)化一些步驟來(lái)提升高意圖用戶的轉(zhuǎn)化率是很困難的——這只會(huì)提升低意圖用戶的轉(zhuǎn)化。

做一些頁(yè)面設(shè)計(jì)上的改變，比如改變按鈕的位置，優(yōu)化標(biāo)題，或者刪除表單字段 ，這些都很棒，但這種低意圖用戶的增加不會(huì)直接延續(xù)到你漏斗模型的最下面，他們會(huì)在后面的流程中離開(kāi)。

換句話說(shuō)，轉(zhuǎn)化漏斗模型里每層的總意圖是固定的。這就是「意圖守恒定律」！

如果你的公司用 A/B 測(cè)試得到了多種方案，你們?cè)谀X子里把這些 A/B 測(cè)試的結(jié)果加起來(lái)，然后得到了很好的結(jié)果——一切都很美好。將最終實(shí)際增長(zhǎng)的用戶數(shù)量與測(cè)試結(jié)果進(jìn)行比較，結(jié)果卻很少能匹配得上。

這一點(diǎn)在靠近漏斗頂部的 test 里看上去會(huì)更明顯，例如，新用戶的登陸頁(yè)面的點(diǎn)擊量大幅增加，或者是用戶打開(kāi)「歡迎回來(lái)」郵件的比例大幅增加——你會(huì)看到，從模型的頂部開(kāi)始，用戶在轉(zhuǎn)化漏斗模型里并不會(huì)均勻流失，相反，每個(gè)步驟減少的都是其中的低意圖用戶。

對(duì)用戶增長(zhǎng)的啟示

首先，要真正了解到底是什么正阻止了你的高意圖用戶。他們是想要穿過(guò)漏斗模型每一步的人，但是出于某些原因，最終最終無(wú)法實(shí)現(xiàn)。對(duì)于 Uber 來(lái)說(shuō)，導(dǎo)致這個(gè)結(jié)果的原因是支付方式、應(yīng)用程序質(zhì)量（特別是 Android 的?。?，找回密碼的程序，等等。如果用戶不能方便地支付，或者無(wú)法找回賬戶，即使他們現(xiàn)在每天都在使用這個(gè)應(yīng)用，之后一旦出現(xiàn)另一個(gè)讓他不那么痛苦的，他很可能轉(zhuǎn)向另一個(gè)應(yīng)用了。

此外，你可以集中精力進(jìn)行實(shí)驗(yàn)。在轉(zhuǎn)化漏斗的偏下方，你可以清楚地獲得真正的凈增量。這時(shí)，低意圖的人已經(jīng)離開(kāi)了，你可以更接近模型底部?？纯催@里你交易流程中的步驟——對(duì)于電子商務(wù)網(wǎng)站來(lái)說(shuō)，它可能是查看購(gòu)物車然后添加送貨地址；對(duì)于 SaaS 產(chǎn)品來(lái)說(shuō)，可能是申請(qǐng)開(kāi)發(fā)票。想想那些需要高意圖才能到達(dá)的使用情景，例如，遇到付費(fèi)失敗，或者信用/磁盤空間/資源/等等用完了。所有這些步驟都可以進(jìn)行優(yōu)化，這樣用戶將會(huì)迅速抵達(dá)模型底部，完成交易。

A/B 測(cè)試避免踩雷！

因?yàn)椤敢鈭D守恒定律」的存在，前面模型中某個(gè)步驟 A/B 測(cè)試的增長(zhǎng)用戶不一定能堅(jiān)持到最后，不同步驟 A/B 測(cè)試得到的增加更不能簡(jiǎn)單相加。

首先，要保證你的轉(zhuǎn)化漏斗反映了真實(shí)的產(chǎn)品情況。當(dāng)談到你的轉(zhuǎn)化漏斗時(shí)，是的，你絕對(duì)可以頭腦風(fēng)暴，然后每一步想出不止一個(gè)方案，帶來(lái)一系列 10％ 的增長(zhǎng)。但你需要在電子表格中添加折扣因子來(lái)貼近現(xiàn)實(shí)情況，不能只是添加你的所有結(jié)果。（越靠近頂部，折扣越大，越靠近底部，折扣越小。）

其次，要注意帶來(lái)增長(zhǎng)的指標(biāo)。如果你在的是一家大公司，公司里另一個(gè)團(tuán)隊(duì)發(fā)布了測(cè)試結(jié)果，一定要確認(rèn)你們?cè)趯?shí)際針對(duì)的的最終指標(biāo)上已經(jīng)達(dá)成了一致——無(wú)論它是收益，深度用戶數(shù)量還是其他項(xiàng)，并且一定要對(duì)其進(jìn)行反復(fù)確認(rèn)。同樣，我們有必要對(duì)供應(yīng)商和第三方提供的案例研究結(jié)果保持懷疑。這些研究結(jié)果通常會(huì)告訴你，通過(guò) X 將會(huì)增加你的收益，因?yàn)?X 導(dǎo)致廣告轉(zhuǎn)化率（或者其他）有增長(zhǎng)。這種類型的案例研究，經(jīng)常會(huì)在會(huì)議上看到，但是實(shí)際上會(huì)誤導(dǎo)人——因?yàn)楣?yīng)商挑選出的往往是能最支持其結(jié)論的案例，還有對(duì)其受影響最大的指標(biāo)！要對(duì)他們持懷疑態(tài)度，千萬(wàn)不要被愚弄。

你們中的許多人，已經(jīng)在工作中直接體驗(yàn)過(guò)「意圖守恒定律」，對(duì)你們而言，以后就可以用「意圖守恒定律」這個(gè)名字來(lái)向其他人解釋你遇到的情況了。

這一現(xiàn)象實(shí)際上反映了，心理學(xué)和數(shù)據(jù)驅(qū)動(dòng)怎樣結(jié)合起來(lái)，共同導(dǎo)致產(chǎn)品增長(zhǎng)的。你不能只在電子表格中查看這些內(nèi)容，然后假設(shè)一個(gè)地方的增長(zhǎng)會(huì)自動(dòng)進(jìn)入模型的其余部分。

文：光澗/光澗實(shí)驗(yàn)室（lightstream0）

首席增長(zhǎng)官CGO薦讀：

• 《曲卉：增長(zhǎng)黑客的理論體系及10倍用戶增長(zhǎng)的方法論》
• 《網(wǎng)易云產(chǎn)品專家董安：X+內(nèi)容，引爆產(chǎn)品增長(zhǎng)》
• 《Wehome創(chuàng)始人余鵬：找到 PMF 的 5 個(gè)步驟》

更多精彩，關(guān)注：增長(zhǎng)黑客（GrowthHK.cn）

增長(zhǎng)黑客（Growth Hacker）是依靠技術(shù)和數(shù)據(jù)來(lái)達(dá)成各種營(yíng)銷目標(biāo)的新型團(tuán)隊(duì)角色。從單線思維者時(shí)常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實(shí)現(xiàn)低成本甚至零成本帶來(lái)的有效增長(zhǎng)…