3步打造完美A/B實驗版本，讓增長效果翻倍！

你是否有過當實驗版本上線后，卻發(fā)現(xiàn)有些實驗細節(jié)還沒想清楚？怎樣的實驗版本設計才能避免此類問題呢？本文將為你揭秘那些成功實驗版本背后的3個簡單步驟。

實驗版本設計要點

在這一部分要回答的問題是實驗所做的改動在哪里？設計幾個版本，它們之間的區(qū)別是什么？以及這些流量在版本之間是如何分配的。

1.明確實驗改動的位置

設計實驗版本的第一步，是要明確實驗所做的改動在哪里。這一點比較簡單，例如你的改動可能在APP的主頁、營銷落地頁的按鈕，或者是整個新用戶注冊流程等。明確改動位置后，工程師和設計師就知道去哪里做開發(fā)和設計了。

2.確定實驗版本數(shù)量和區(qū)別

第二步是針對改動位置，考慮設計幾個版本，以及版本之間有什么區(qū)別。這里有幾個要點：

(1) 新版本數(shù)量取決于實驗假設數(shù)量新版本的數(shù)量其實取決于針對改動點，你有幾個實驗假設。假設數(shù)量多，可能就要設計多個新版本；假設只有一個，那就只需設計一個新版本。

(2) 選擇高質(zhì)量實驗假設，避免隨意改動我們要注意的是，不要隨意想當然地改動。所有的實驗假設和版本設計，都要選擇那些高質(zhì)量、有依據(jù)的，這樣才能提高實驗成功率，避免浪費開發(fā)設計資源。

(3) 區(qū)分優(yōu)化實驗和探索實驗

a.優(yōu)化實驗：每個版本只改變單一變量

舉例來說，如果你要優(yōu)化一個落地頁，想看每個元素如何改動效果最好，那你可以試試不同顏色的按鈕、不同文案、不同圖片，每個版本只改變一個變量如顏色、文案或圖片。這樣可以明確判斷每個改動的影響。等確認了哪些改動有效，最終版本再把它們合并起來。

b.探索實驗：可同時改變多個變量或設計全新版本

另一類是探索性實驗，你可以在一個版本中同時改變多個變量，或者設計一個全新的版本。常見于兩種情況：要么是之前已經(jīng)做了很多局部優(yōu)化實驗，洞察積累多了，想要突破局部最大化的瓶頸；要么是現(xiàn)有版本表現(xiàn)太差，與其慢慢優(yōu)化，不如推倒重來，設計一個理想版本。此類實驗允許大刀闊斧地改動。

(4) 版本數(shù)量越多，所需總樣本量越大

需要強調(diào)的是，版本數(shù)量越多，實驗所需的總樣本數(shù)就越大。如果你的用戶量不夠大，建議不要設置太多的版本。

3.若分流不均勻，實驗結論可信性降低

在明確了幾個實驗版本之后，下一個問題是如何在這些版本之間分配用戶流量。我們還是以一個紅藍按鈕的例子來說明。假設在一個實驗中，50%的用戶看到藍色版本，另外50%看到紅色版本。我們的實驗假設是，紅色按鈕更醒目，所以點擊率會更高。如果實驗觀測到，紅色版本的點擊率比藍色高出50%，據(jù)此我們得出結論：紅色版本比藍色版本更好。但事實真的如此嗎？舉一個極端例子，如果分到紅色組的用戶全是紅綠色盲，你還能得出這個結論嗎？顯然不能。

這說明了，AB實驗中的樣本分流是否均勻，會極大影響實驗結論的可信性。如果樣本分流做得不好，實驗結果可能根本沒有參考價值。

樣本科學分流的重要性

1.分流均勻可消除外在因素影響，確保實驗組和對照組的可比性

樣本分流之所以要做到均勻，就是要消除一切外在因素的影響，確保對照組和實驗組之間唯一的區(qū)別就是實驗改動點，其他條件都一致。這樣才能放心地將最終指標的差異歸因于實驗改動，而非其他隨機因素。舉個例子，復聯(lián)中的滅霸要隨機消滅一半人口。這里的”隨機”很關鍵，如果消滅的方式有選擇性，比如留下的都是實力較弱的超級英雄，那他們最后輸給滅霸，并不能說明這些英雄真的不如滅霸。因為消滅過程不是隨機的，不符合分流均勻的要求。

2.樣本科學分流需達到四個標準

• (1) 均勻性分流人群各維度分配比例均勻
• (2) 唯一性同一用戶始終保持在原實驗分組
• (3) 定向性針對特定用戶類型設定實驗受眾分層分流
• (4) 可重復性不同實驗之間的分流不沖突

3.科學分流需從技術層面保證，以支持AB測試結果的可信性

(1) 使用第三方AB測試工具可簡化樣本分流過程

第三方AB測試工具可以很方便地完成樣本分流。以吆喝科技產(chǎn)品為例，可以在后臺設置有多少流量進入實驗，如果有多個實驗同時進行，還能設置不同實驗之間的流量分配。然后再進一步設置實驗內(nèi)部的分組，如50%進入對照組，50%進入實驗組。第三方工具可以保證分流的均勻性和唯一性。

(2) 自建AB測試系統(tǒng)需關注分流系統(tǒng)的建設

如果要自建AB測試系統(tǒng)，分流系統(tǒng)是需要重點關注的。

這里分享一個電商公司自建分流系統(tǒng)的案例，他們大概花了一個月時間搭建了基本的分流架構：增長 or 運營團隊提交分流需求 → 工程師后端進行用戶分流，前端APP和小程序埋點不同實驗版本 → 后端控制前端執(zhí)行相應實驗版本，收集數(shù)據(jù) → 分析師手動進行統(tǒng)計分析。

綜上所述，明確改動點，創(chuàng)造高質(zhì)量假設，并科學分配流量，是設計實驗版本的根本。

實驗設計步驟（系列文章小結）

1.選擇實驗指標

選擇指標時，除了核心指標，還要考慮輔助指標和反向指標，以全面評估實驗效果。

2.確定實驗受眾

需要考慮：受眾范圍、樣本量和實驗時長評估。

(1) 統(tǒng)計顯著性與所需樣本量的關系實驗需要的樣本量，與原版本轉(zhuǎn)化率、新版本預期提升幅度、統(tǒng)計顯著性要求都有關系。

(2) 樣本量過大時的實驗設計調(diào)整方法如果評估發(fā)現(xiàn)所需樣本量過大，可以考慮加大改動幅度、減少版本數(shù)量等方式，對實驗設計進行調(diào)整。

3. 設計實驗版本需明確改動位置、版本數(shù)量和類型。

(1) 實驗假設數(shù)量決定版本數(shù)量

在設計實驗版本的時候，要考慮有幾個高質(zhì)量的實驗假設，那就設計幾個實驗版本。

(2) 優(yōu)化實驗與探索實驗的版本設計區(qū)別

同時我們也要考慮我們這個實驗是一個優(yōu)化實驗還是一個探索實驗。優(yōu)化實驗建議去做單變量的測試，而探索實驗可以做一個全新的設計。

4. 進行流量分配

科學分流是獲得可信實驗結果的關鍵。流量分配必須嚴格執(zhí)行科學分流，不管是用第三方工具還是自建分流系統(tǒng)，這是獲得可靠實驗數(shù)據(jù)和結論的基礎。

5. 實驗開發(fā)上線總結優(yōu)化

最后，在實驗版本開發(fā)上線后，我們就可以收集數(shù)據(jù)，得出實驗結果，總結實驗心得，并規(guī)劃后續(xù)優(yōu)化計劃，從而完成一次完整的AB實驗。

最后總結一下，實驗設計的藝術在于精確識別改動點、構建可靠實驗假設、執(zhí)行科學流量分配。通過本文的學習，希望你可以更系統(tǒng)、科學地進行實驗，從而更精準地優(yōu)化運營策略，提升運營效果。