通過5個(gè)步驟，掌握AB實(shí)驗(yàn)基本流程｜數(shù)據(jù)小匠人

AB實(shí)驗(yàn)本質(zhì)上說有兩個(gè)亮點(diǎn)功能：

• 1 獲取數(shù)據(jù)
• 2 排除隨機(jī)干擾變量。

例如：你需要決定是不是要采取降價(jià)促銷的策略，你又沒有數(shù)據(jù)，那么你可以先小范圍進(jìn)行ab實(shí)驗(yàn)測(cè)試收集數(shù)據(jù)，再做決策。再比如：當(dāng)你通過歷史數(shù)據(jù)分析了新用戶更喜歡買高檔商品，但是永遠(yuǎn)無法排除其他干擾變量的影響的時(shí)候，可以設(shè)計(jì)一個(gè)隨機(jī)對(duì)照實(shí)驗(yàn)，獲取主動(dòng)的數(shù)據(jù)進(jìn)行剔除潛在隱藏變量。

定義評(píng)價(jià)指標(biāo)

為了測(cè)量實(shí)驗(yàn)干預(yù)帶來的影響，我們首先需要定義目標(biāo)指標(biāo)，也稱為評(píng)價(jià)指標(biāo)。例如：評(píng)價(jià)環(huán)境污染程度 的PM2.5 指標(biāo)

舉個(gè)例子：有一個(gè)實(shí)驗(yàn)是這樣的，隨著酒店業(yè)淡季的到來，有AB兩批酒店，A類酒店降價(jià)10%，B類酒店不降價(jià)。然后為了評(píng)價(jià)降價(jià)實(shí)驗(yàn)的影響。我們應(yīng)該選擇哪個(gè)指標(biāo)作為評(píng)價(jià)指標(biāo)呢？有人說顯而易見是銷售額，請(qǐng)注意，即便想要提高的是銷售總額，也不建議將銷售總額作為指標(biāo)，因?yàn)橛锌赡茕N售額提升了，總利潤卻沒有任何變化，最后白忙活一場(chǎng)。因?yàn)榫频瓯旧磉€有一些維護(hù)成本（毛巾，洗漱用品，清潔阿姨），所以我們還是推薦毛利額作為評(píng)價(jià)指標(biāo)

設(shè)計(jì)實(shí)驗(yàn)

確定評(píng)價(jià)指標(biāo)之后，就可以開始設(shè)計(jì)實(shí)驗(yàn)了。接下來將通過回答以下4個(gè)問題來完成實(shí)驗(yàn)設(shè)計(jì)

1 隨機(jī)化單元是什么？

選擇隨機(jī)化單元時(shí)要考慮的一個(gè)維度是顆粒度，例如：酒店降價(jià)促銷，顆粒度選擇是酒店，將滿足條件的酒店隨機(jī)分成AB組。而不是用戶，如果某用戶第一次看到酒店的價(jià)格是800元一晚，第二次用家人賬號(hào)看到酒店的價(jià)格是400元一晚，用戶體驗(yàn)是相當(dāng)糟糕的。
選擇隨機(jī)化單元考慮的主要問題是：用戶體驗(yàn)的一致性。所以大多數(shù)情況下，都是以用戶為分桶。

2 我們的目標(biāo)群體是什么？

以一個(gè)特定的群體為目標(biāo)意味著你只想對(duì)具有某一特征的用戶運(yùn)行實(shí)驗(yàn)。例如，要檢測(cè)某款教育app發(fā)現(xiàn)頁的改版效果，需要將新用戶設(shè)定為目標(biāo)群體。因?yàn)槔嫌脩魰?huì)直接進(jìn)入已經(jīng)購買的課程進(jìn)行學(xué)習(xí)，只有新用戶還沒有購買課程，所以需要去發(fā)現(xiàn)頁探索新知。

3 實(shí)驗(yàn)需要的樣本量是多少？

原則上說實(shí)驗(yàn)樣本量越大越好：實(shí)驗(yàn)的樣本量大小是直接影響結(jié)果精確度的因素，樣本量越大，結(jié)論越精確。如果檢測(cè)出很小的變化，且需要有充足的理由對(duì)結(jié)論更有信心，那么就要運(yùn)行一個(gè)更多樣本量的實(shí)驗(yàn)。現(xiàn)實(shí)情況是樣本量越大風(fēng)險(xiǎn)越大：實(shí)驗(yàn)一般是帶有未知的干預(yù)措施(例如降價(jià)促銷)往往這個(gè)未知措施是具有一定的風(fēng)險(xiǎn)，樣本量越大，風(fēng)險(xiǎn)越大。一般我們有一個(gè)樣本量的下限，也就是最小樣本量，后面會(huì)單獨(dú)寫一篇文章來介紹最小樣本計(jì)算的統(tǒng)計(jì)原理。

4 實(shí)驗(yàn)需要運(yùn)行多久？

實(shí)驗(yàn)需要運(yùn)行多久：需要考量的是周期性和季節(jié)性，初始和新奇效應(yīng)，為了保證實(shí)驗(yàn)有效性在不會(huì)隨時(shí)間變量而產(chǎn)生變化，我們一般會(huì)將實(shí)驗(yàn)時(shí)間覆蓋不同特征的時(shí)間范圍或者在不同時(shí)間特征下進(jìn)行實(shí)驗(yàn)。例如：酒店行業(yè)，周末入住率高于周中（周末剛性需求），所以周末降價(jià)效果不好。如果降價(jià)促銷實(shí)驗(yàn)僅僅在周中進(jìn)行，是不能代表周末也會(huì)產(chǎn)生同樣的效果。（一般也叫周內(nèi)效應(yīng)）；另外酒店行業(yè)容易受突發(fā)事件的影響，例如演唱會(huì)，大型國家考試酒店用戶就會(huì)蜂擁而至，實(shí)驗(yàn)設(shè)計(jì)也需要考慮這種季節(jié)性影響。初始和新奇效應(yīng)：酒店行業(yè)降價(jià)促銷，對(duì)于線下到店的用戶，其實(shí)并不是奔著降價(jià)去的，因?yàn)樗麃淼降曛笆遣恢澜祪r(jià)的。當(dāng)他看到降價(jià)之后，下次會(huì)記住這個(gè)酒店每個(gè)周三會(huì)降價(jià)促銷，這時(shí)候才會(huì)影響用決策，所以實(shí)驗(yàn)時(shí)長是需要考慮這個(gè)用戶接受過程。

運(yùn)行實(shí)驗(yàn)獲取數(shù)據(jù)

實(shí)驗(yàn)上線的第一天：數(shù)據(jù)分析師需要做的事情就是驗(yàn)證實(shí)驗(yàn)是否正常運(yùn)行，因?yàn)檫@里面會(huì)有各個(gè)環(huán)節(jié)的協(xié)助，如果某個(gè)環(huán)節(jié)出現(xiàn)了問題，后面收集的數(shù)據(jù)都是無效的，結(jié)論更加是誤導(dǎo)，損失慘重。舉幾個(gè)極端且真實(shí)發(fā)生的例子：某個(gè)ab實(shí)驗(yàn)，將實(shí)驗(yàn)組和對(duì)照組的干預(yù)搞反了，得出了完全相反的實(shí)驗(yàn)結(jié)論。

例如：酒店降價(jià)促銷實(shí)驗(yàn)上線，分析師需要去攜程app上看下這家酒店的價(jià)格是不是降下來了，而對(duì)照組的酒店價(jià)格是不是按照計(jì)劃保持不變。曾經(jīng)出一個(gè)價(jià)格策略實(shí)驗(yàn)的時(shí)候，我就拿出自己在這家酒店的訂單截圖來佐證這個(gè)過程（當(dāng)然攜程酒店訂單是可以退款的），或者說論證數(shù)據(jù)的有效性。

在toC的互聯(lián)網(wǎng)公司的時(shí)候，一般會(huì)把自己的用戶id塞進(jìn)對(duì)照組，把傍邊同事的用戶id塞進(jìn)實(shí)驗(yàn)組，實(shí)驗(yàn)上線第一天就是check效果展示，這樣出來的數(shù)據(jù)心里才踏實(shí)。當(dāng)然，我們也會(huì)考慮加入其他變量來進(jìn)一步佐證，例如：酒店降價(jià)的實(shí)驗(yàn)，可以加入ARR(平均房價(jià))來驗(yàn)證是否真的降價(jià)了。

分析結(jié)果

首先，觀察兩個(gè)對(duì)照組的p值都小于0.05，我們拒絕實(shí)驗(yàn)組和對(duì)照組有相同均值的零假設(shè)（即實(shí)驗(yàn)結(jié)果數(shù)據(jù)是有干預(yù)導(dǎo)致的，不是隨機(jī)偶然性導(dǎo)致的）。

然后，觀察，實(shí)驗(yàn)組和對(duì)照組之間的差距，也就是干預(yù)結(jié)果（降價(jià)促銷）帶來的效益是正向還是負(fù)向，如果是正向，正向值是多少，是否值得進(jìn)一步擴(kuò)大到全量。

實(shí)驗(yàn)結(jié)果支持決策

運(yùn)行AB實(shí)驗(yàn)的目標(biāo)是收集數(shù)據(jù)以驅(qū)動(dòng)決策，所以這一步是至關(guān)重要的。例如：產(chǎn)品功能發(fā)布還是不發(fā)布的決策，酒店降價(jià)促銷還是不降價(jià)的決策。那么ab實(shí)驗(yàn)數(shù)據(jù)支持的決策需要考慮哪些因素呢？

• 1 結(jié)果是否真實(shí)可信（統(tǒng)計(jì)顯著）
• 2 如果統(tǒng)計(jì)顯著，那么差異是否顯著。（評(píng)價(jià)指標(biāo)改變是否大）例如：上面酒店實(shí)驗(yàn)數(shù)據(jù)，實(shí)驗(yàn)組和對(duì)照差異是80元/天，有時(shí)候，我們可以估算80*365估算出一年的經(jīng)濟(jì)效益。
• 3 如果統(tǒng)計(jì)顯著，評(píng)價(jià)指標(biāo)改變也很大，那么這個(gè)決策需要投入哪些成本，是否值得。（ROI怎么樣）
• 4 最后還需要考慮，實(shí)驗(yàn)放量之后會(huì)帶來哪些風(fēng)險(xiǎn)，以及風(fēng)險(xiǎn)處理預(yù)備方案是什么？（風(fēng)險(xiǎn)控制）

本文通過定義實(shí)驗(yàn)指標(biāo)，設(shè)計(jì)實(shí)驗(yàn)，運(yùn)行并獲取數(shù)據(jù)，分析數(shù)據(jù)，數(shù)據(jù)決策五個(gè)步驟闡述了ab實(shí)驗(yàn)設(shè)計(jì)的基本流程，有一些概念只是簡單的敘述，沒有進(jìn)行深入的討論，歡迎評(píng)論區(qū)留言反饋；