干貨分享|A/B實(shí)驗(yàn)在字節(jié)跳動(dòng)推薦系統(tǒng)中的應(yīng)用與實(shí)踐

本文源自火山引擎A/B測(cè)試團(tuán)隊(duì)資深研發(fā)團(tuán)隊(duì)內(nèi)部演講，以下為分享實(shí)錄：

1. 什么是A/B實(shí)驗(yàn)？

AB實(shí)驗(yàn)，也被稱(chēng)為A/B測(cè)試，是一種統(tǒng)計(jì)學(xué)方法，通過(guò)對(duì)比兩個(gè)或多個(gè)版本的事物，以確定哪個(gè)版本對(duì)目標(biāo)的影響更大，目前在各大互聯(lián)網(wǎng)公司有非常廣泛的應(yīng)用。例如在字節(jié)跳動(dòng)，2023年中數(shù)據(jù)顯示，A/B測(cè)試平臺(tái)目前服務(wù)了500多條業(yè)務(wù)、在線上開(kāi)的實(shí)驗(yàn)總量超過(guò)了240萬(wàn)，每天新增的實(shí)驗(yàn)數(shù)有4000余個(gè)，同時(shí)線上運(yùn)行的實(shí)驗(yàn)數(shù)有5萬(wàn)余個(gè) 。

2. 什么是推薦系統(tǒng)？

隨著移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展，用戶規(guī)模和網(wǎng)絡(luò)信息量都得到了爆炸式增長(zhǎng)。在此背景下，信息過(guò)載導(dǎo)致用戶產(chǎn)生選擇焦慮，推薦系統(tǒng)也就應(yīng)運(yùn)而生。

可以說(shuō)，推薦系統(tǒng)本質(zhì)上是在用戶需求不明確的情況下， 為用戶從海量的內(nèi)容中尋找其感興趣的內(nèi)容的技術(shù)手段，通過(guò)結(jié)合用戶的基礎(chǔ)信息（地域，年齡，性別等）、用戶的歷史行為（點(diǎn)擊、播放、購(gòu)買(mǎi)等）、以及內(nèi)容本身的特征（分類(lèi)、標(biāo)簽、價(jià)格等），利用機(jī)器學(xué)習(xí)技術(shù)構(gòu)建用戶的興趣模型，再疊加一定的推薦策略，實(shí)現(xiàn)為用戶提供精準(zhǔn)的個(gè)性化內(nèi)容服務(wù)，使流量得到充分的利用，最大限度地提高內(nèi)容轉(zhuǎn)化效率及用戶獲取信息的效率。

3. 推薦架構(gòu)

雖然不同推薦產(chǎn)品的體驗(yàn)和調(diào)性差異很大，但其背后的推薦系統(tǒng)總體技術(shù)方案大同小異，一般都由在線服務(wù)和離線處理兩個(gè)模塊組成：

3.1 在線服務(wù)

在線服務(wù)是為用戶提供內(nèi)容的個(gè)性化推薦服務(wù)。其對(duì)效率要求比較高，需要在百毫秒級(jí)完成從海量備選集中篩選用戶感興趣的內(nèi)容，一般由召回、粗排、精排、重排四個(gè)階段組成。這四個(gè)階段所處理的內(nèi)容量由多到少、處理復(fù)雜度由簡(jiǎn)單到復(fù)雜、內(nèi)容和用戶的相關(guān)性由弱到強(qiáng)，隨著階段的推進(jìn)逐步完成推薦。

3.2 離線處理

離線處理輔助于在線服務(wù)，能夠?yàn)樵诰€服務(wù)提供內(nèi)容基礎(chǔ)和數(shù)據(jù)基礎(chǔ)：

• 用戶發(fā)布的內(nèi)容經(jīng)過(guò)審核、打標(biāo)簽以及內(nèi)容運(yùn)營(yíng)，篩選合規(guī)、優(yōu)質(zhì)內(nèi)容，構(gòu)建推薦內(nèi)容池

• 對(duì)用戶行為數(shù)據(jù)進(jìn)行處理和計(jì)算，生成樣本和特征，更新和優(yōu)化推薦模型；

• 結(jié)合A/B實(shí)驗(yàn)分流結(jié)果和用戶行為的打點(diǎn)上報(bào)，用于指標(biāo)計(jì)算和實(shí)驗(yàn)分析，也可搭建指標(biāo)報(bào)表和dashboard，觀測(cè)如dau、用戶時(shí)長(zhǎng)等核心指標(biāo)的走勢(shì)

推薦系統(tǒng)中經(jīng)常會(huì)有推薦算法、策略、特征、功能、UI的迭代，特別是推薦算法。但由于現(xiàn)在廣泛應(yīng)用深度學(xué)習(xí)模型，本身具有很強(qiáng)的黑盒屬性。所以在進(jìn)行調(diào)整后，用戶體驗(yàn)如何，是否向著預(yù)期的方向發(fā)展，都無(wú)法通過(guò)經(jīng)驗(yàn)來(lái)判斷，需要通過(guò)A/B實(shí)驗(yàn)量化指標(biāo)變化才能進(jìn)行評(píng)估及后續(xù)優(yōu)化。

因此，可以說(shuō)A/B實(shí)驗(yàn)和推薦系統(tǒng)是相生相伴的，有推薦系統(tǒng)就必須有A/B實(shí)驗(yàn)。接下來(lái)就重點(diǎn)介紹A/B實(shí)驗(yàn)在持續(xù)改進(jìn)推薦系統(tǒng)中的應(yīng)用以及分享一些實(shí)踐經(jīng)驗(yàn)。

4. 使用A/B實(shí)驗(yàn)改進(jìn)推薦系統(tǒng)

4.1 A/B實(shí)驗(yàn)的流程

一個(gè)標(biāo)準(zhǔn)的A/B實(shí)驗(yàn)包含分析并提出假設(shè)、實(shí)驗(yàn)設(shè)計(jì)、實(shí)驗(yàn)上線、實(shí)驗(yàn)觀測(cè)、實(shí)驗(yàn)決策五個(gè)環(huán)節(jié)：

• 基于分析提出假設(shè)：即在業(yè)務(wù)體驗(yàn)和數(shù)據(jù)分析過(guò)程中，基于發(fā)現(xiàn)的問(wèn)題和可優(yōu)化點(diǎn)，提出某個(gè)實(shí)驗(yàn)的假設(shè)。例如某信息流推薦開(kāi)發(fā)同學(xué)，在體驗(yàn)業(yè)務(wù)時(shí)提出一個(gè)假設(shè)：如果用戶在消費(fèi)視頻時(shí)若能產(chǎn)生點(diǎn)贊關(guān)注等互動(dòng)行為，可提升用戶黏性從而提升用戶留存。

• 實(shí)驗(yàn)設(shè)計(jì)：確定實(shí)驗(yàn)策略、實(shí)驗(yàn)?zāi)康?、?shí)驗(yàn)對(duì)象、實(shí)驗(yàn)時(shí)長(zhǎng)等。例如基于上面的假設(shè)，可設(shè)計(jì)針對(duì)低活躍用戶，優(yōu)化推薦模型的實(shí)驗(yàn)策略；目標(biāo)是提升用戶留存率；實(shí)驗(yàn)時(shí)長(zhǎng)則建議設(shè)置14天以上，覆蓋兩個(gè)完整周，以此消除工作日與周末用戶消費(fèi)視頻的差異及波動(dòng)。

• 實(shí)驗(yàn)上線：按照設(shè)計(jì)的實(shí)驗(yàn)方案，實(shí)現(xiàn)業(yè)務(wù)邏輯并進(jìn)行線上實(shí)驗(yàn)。且需要在上線前通過(guò)設(shè)置實(shí)驗(yàn)白名單，體驗(yàn)并檢查實(shí)驗(yàn)邏輯是否符合預(yù)期。

• 實(shí)驗(yàn)觀測(cè)：實(shí)驗(yàn)上線后，觀察實(shí)驗(yàn)指標(biāo)的變化趨勢(shì)。這個(gè)階段也可以抽樣檢查實(shí)驗(yàn)用戶的推薦結(jié)果和行為數(shù)據(jù)，進(jìn)一步驗(yàn)證實(shí)驗(yàn)邏輯是否正確。

• 實(shí)驗(yàn)決策：根據(jù)實(shí)驗(yàn)結(jié)果決定下一步計(jì)劃，若實(shí)驗(yàn)效果為負(fù)向，則應(yīng)關(guān)閉實(shí)驗(yàn)或進(jìn)行相應(yīng)的數(shù)據(jù)分析并迭代優(yōu)化實(shí)驗(yàn)策略后重新上線實(shí)驗(yàn)；若實(shí)驗(yàn)有顯著正向，則可全量發(fā)布，且在全量發(fā)布時(shí)建議同步創(chuàng)建反轉(zhuǎn)實(shí)驗(yàn)，以便觀察實(shí)驗(yàn)的長(zhǎng)期收益。因?yàn)橐话鉇/B實(shí)驗(yàn)的周期相對(duì)比較短，短期的正向收益也可能是由于新算法或新策略的新鮮度較高帶來(lái)的，因此可通過(guò)反轉(zhuǎn)實(shí)驗(yàn)來(lái)檢驗(yàn)長(zhǎng)期收益是否符合預(yù)期。實(shí)驗(yàn)上線后，也可以進(jìn)行進(jìn)一步的數(shù)據(jù)分析發(fā)掘是否有新的A/B實(shí)驗(yàn)點(diǎn)，以此循環(huán)往復(fù)。

在字節(jié)跳動(dòng)，每天都運(yùn)行著大量的推薦實(shí)驗(yàn)，以下分享幾個(gè)我們積累的實(shí)踐經(jīng)驗(yàn)。

4.2 A/B實(shí)驗(yàn)在推薦系統(tǒng)的應(yīng)用方向

推薦系統(tǒng)的本質(zhì)是連接內(nèi)容和用戶，這樣就構(gòu)成了<內(nèi)容，推薦系統(tǒng)，用戶>的三元組，A/B實(shí)驗(yàn)也是圍繞這個(gè)三元組展開(kāi)。內(nèi)容側(cè)，可以進(jìn)行內(nèi)容池優(yōu)化、內(nèi)容打標(biāo)優(yōu)化、視頻封面模型的優(yōu)化等；用戶側(cè)，可以通過(guò)A/B實(shí)驗(yàn)實(shí)現(xiàn)功能優(yōu)化、性能優(yōu)化、UI改進(jìn)等；而在推薦系統(tǒng)方面，可A/B實(shí)驗(yàn)的維度更多，例如多路召回優(yōu)化、粗排和精排模型迭代升級(jí)優(yōu)化、模型多目標(biāo)融合優(yōu)化、重排多樣性/興趣探索優(yōu)化、廣告收入優(yōu)化等等，可以說(shuō)，在推薦系統(tǒng)中，萬(wàn)物皆可A/B實(shí)驗(yàn)。

需要指出的是，在進(jìn)行內(nèi)容側(cè)的A/B實(shí)驗(yàn)時(shí)，例如信息流產(chǎn)品可能會(huì)做作者發(fā)布視頻獎(jiǎng)勵(lì)、視頻清晰度調(diào)整等，改變的是內(nèi)容側(cè)的屬性，但我們通常觀察的是大盤(pán)用戶側(cè)的指標(biāo)。在進(jìn)行這類(lèi)實(shí)驗(yàn)時(shí)，建議轉(zhuǎn)化為用戶側(cè)實(shí)驗(yàn)并輔助觀測(cè)內(nèi)容側(cè)指標(biāo)來(lái)評(píng)估，權(quán)衡用戶側(cè)和內(nèi)容側(cè)的綜合收益后再?zèng)Q策是否上線。

比如視頻帶貨推薦中，商家分潤(rùn)規(guī)則調(diào)整僅對(duì)實(shí)驗(yàn)用戶生效，通過(guò)對(duì)比實(shí)驗(yàn)組與對(duì)照組的指標(biāo)差異評(píng)估對(duì)大盤(pán)的影響的同時(shí)，可以創(chuàng)建并觀察商家入駐率等內(nèi)容側(cè)指標(biāo)的變化。在大盤(pán)收入指標(biāo)不變、商家入駐率指標(biāo)有提升，甚至大盤(pán)收入指標(biāo)微跌、商家入駐率顯著提升的情況下，都可以發(fā)布上線。

另外，A/B實(shí)驗(yàn)上線后，我們會(huì)頻繁地查看分析實(shí)驗(yàn)指標(biāo)。有的實(shí)驗(yàn)在開(kāi)啟后前幾天可能出現(xiàn)指標(biāo)下跌，這種情況下不建議立即關(guān)閉實(shí)驗(yàn)，因?yàn)槲覀冇龅竭^(guò)很多這種指標(biāo)開(kāi)始下跌、后續(xù)慢慢回漲的情況，比如在內(nèi)容多樣性策略實(shí)驗(yàn)中，當(dāng)增強(qiáng)興趣探索后，短期可能會(huì)因?yàn)樘剿鞫霈F(xiàn)用戶不感興趣的內(nèi)容變多導(dǎo)致消費(fèi)時(shí)長(zhǎng)下跌，但從長(zhǎng)期來(lái)看。探索到更多用戶興趣后，用戶黏性更強(qiáng)，用戶消費(fèi)時(shí)長(zhǎng)也會(huì)慢慢回漲，且更有益于平臺(tái)生態(tài)。因此在面對(duì)實(shí)驗(yàn)開(kāi)始指標(biāo)下跌的情況，一般還是建議繼續(xù)實(shí)驗(yàn)至少一周以上，覆蓋觀察一個(gè)完整周后再進(jìn)行評(píng)估會(huì)更加準(zhǔn)確。

在查看指標(biāo)時(shí)，也建議多關(guān)注實(shí)驗(yàn)指標(biāo)下鉆分析結(jié)果，例如關(guān)注不同性別、不同年齡層用戶的指標(biāo)變化，有的產(chǎn)品也會(huì)關(guān)注不同活躍度用戶、特別是新用戶和低活用戶的指標(biāo)變化趨勢(shì)，因?yàn)檫@類(lèi)用戶更決定了產(chǎn)品未來(lái)的增長(zhǎng)。在DataTester，可以借助用戶屬性過(guò)濾功能，查看指標(biāo)的下鉆分析數(shù)據(jù)。

4.3 實(shí)驗(yàn)參數(shù)在A/B實(shí)驗(yàn)的作用

在推薦系統(tǒng)中，我們常常會(huì)想看不同算法疊加不同的策略或功能的效果，這時(shí)可以借助實(shí)驗(yàn)參數(shù)來(lái)做功能組合的A/B實(shí)驗(yàn)。實(shí)驗(yàn)參數(shù)，是對(duì)A/B實(shí)驗(yàn)中實(shí)驗(yàn)版本的補(bǔ)充，一般是一個(gè)功能控制配置項(xiàng)，需要開(kāi)發(fā)人員獲取并解析后才能生效。

借助實(shí)驗(yàn)參數(shù)，一方面能區(qū)分對(duì)照組和實(shí)驗(yàn)組，另一方面通過(guò)合理的實(shí)驗(yàn)配置的設(shè)計(jì)，可以在不增加開(kāi)發(fā)工作量的情況下進(jìn)行更靈活的實(shí)驗(yàn)。目前火山引擎DataTester支持Number、String、Boolean、Json類(lèi)型的實(shí)驗(yàn)參數(shù)配置，可以幫助用戶實(shí)現(xiàn)不同維度的A/B實(shí)驗(yàn)。

以視頻帶貨推薦場(chǎng)景為例，我們假設(shè)商品內(nèi)容展示時(shí)機(jī)不同會(huì)對(duì)用戶的視頻消費(fèi)時(shí)長(zhǎng)和電商GMV產(chǎn)生影響，因此設(shè)計(jì)如下實(shí)驗(yàn)：

• 對(duì)照組：視頻開(kāi)始播放時(shí)立即展示商品卡片

• 實(shí)驗(yàn)組1：視頻播放5秒后展示商品卡片

• 實(shí)驗(yàn)組2：視頻播放10秒后展示商品卡片

我們可以設(shè)計(jì)實(shí)驗(yàn)參數(shù)goods_card_show_time=0/5/10分別對(duì)應(yīng)對(duì)照組、實(shí)驗(yàn)組1和實(shí)驗(yàn)組2，然后在代碼中解析goods_card_show_time參數(shù)并實(shí)現(xiàn)視頻播放{goods_card_show_time}秒后展示商品卡片，即可完成上述實(shí)驗(yàn)。假如后續(xù)要實(shí)驗(yàn)“視頻播放8秒后展示商品卡片”的效果，則無(wú)需修改代碼，僅需要?jiǎng)?chuàng)建一個(gè)實(shí)驗(yàn)參數(shù)為goods_card_show_time=8的實(shí)驗(yàn)即可，甚至可以創(chuàng)建更多組不同參數(shù)值的實(shí)驗(yàn)后取最優(yōu)的goods_card_show_time值全量發(fā)布。

需要注意的是，從開(kāi)發(fā)同學(xué)的視角看，實(shí)驗(yàn)參數(shù)是一個(gè)功能控制配置，因此在進(jìn)行A/B實(shí)驗(yàn)參數(shù)設(shè)計(jì)的時(shí)候需要避免一個(gè)誤區(qū)：不要按實(shí)驗(yàn)設(shè)計(jì)來(lái)設(shè)計(jì)實(shí)驗(yàn)參數(shù)。例如如下場(chǎng)景：

一個(gè)不恰當(dāng)?shù)膶?shí)驗(yàn)參數(shù)設(shè)計(jì)方案是枚舉所有實(shí)驗(yàn)組（如下interact_optimize_mod的設(shè)計(jì)），此時(shí)功能的控制只能通過(guò)硬編碼來(lái)處理，如果涉及到實(shí)驗(yàn)方案調(diào)整，或者其他實(shí)驗(yàn)需要復(fù)用某些功能，則都需要另外開(kāi)發(fā)。

合理的實(shí)驗(yàn)參數(shù)應(yīng)該按功能控制維度來(lái)設(shè)計(jì)，針對(duì)上面的實(shí)驗(yàn)，可以設(shè)計(jì)如下控制參數(shù)，然后通過(guò)這些參數(shù)的組合達(dá)到實(shí)驗(yàn)的效果：

對(duì)照組：無(wú)推薦模型優(yōu)化，不展示互動(dòng)引導(dǎo)

實(shí)驗(yàn)組1：優(yōu)化推薦模型互動(dòng)目標(biāo)，不展示互動(dòng)引導(dǎo)

實(shí)驗(yàn)組2：優(yōu)化推薦模型互動(dòng)目標(biāo)，且在視頻播放剩10秒時(shí)展示互動(dòng)引導(dǎo)5秒

實(shí)驗(yàn)組3：優(yōu)化推薦模型互動(dòng)目標(biāo)，且在視頻播放剩15秒時(shí)展示互動(dòng)引導(dǎo)8秒

通過(guò)以上設(shè)計(jì)的實(shí)驗(yàn)參數(shù)，便可實(shí)現(xiàn)多個(gè)功能維度的A/B實(shí)驗(yàn)?？梢哉f(shuō)，合理利用實(shí)驗(yàn)參數(shù)，往往可以達(dá)到事半功倍的效果，這一點(diǎn)在移動(dòng)端APP實(shí)驗(yàn)中尤為重要，因?yàn)锳PP一般發(fā)版周期長(zhǎng)，無(wú)法做頻繁變更，而有了實(shí)驗(yàn)參數(shù)，就可以在不發(fā)版的情況下，開(kāi)啟多組不同參數(shù)的A/B實(shí)驗(yàn)，篩選最優(yōu)參數(shù)組合在線上生效。

4.4 全量發(fā)布A/B實(shí)驗(yàn)

當(dāng)A/B實(shí)驗(yàn)決出優(yōu)勝組后，我們便可以將優(yōu)勝組的策略全量發(fā)布。那么如何發(fā)布呢？

一種做法是修改代碼，將優(yōu)勝組策略對(duì)應(yīng)的參數(shù)對(duì)全量用戶生效，同時(shí)將對(duì)照組下線，這種方式的缺點(diǎn)是每次全量發(fā)布都需要修改代碼后發(fā)布上線，流程復(fù)雜增加了出錯(cuò)風(fēng)險(xiǎn)，特別是如果要全量發(fā)布客戶端實(shí)驗(yàn)，考慮到客戶端發(fā)版除了開(kāi)發(fā)測(cè)試，還需要應(yīng)用商店審批上線，這種方式將會(huì)嚴(yán)重影響迭代效率，并且這種方式難以回滾，在新特性上線時(shí)可能會(huì)造成上下游服務(wù)負(fù)載過(guò)高而影響用戶體驗(yàn)。

基于以上可能存在的問(wèn)題，一般的做法是會(huì)開(kāi)發(fā)一套配置系統(tǒng)，將A/B實(shí)驗(yàn)控制邏輯配置化，當(dāng)需要全量發(fā)布實(shí)驗(yàn)時(shí)，只需要全量發(fā)布對(duì)應(yīng)實(shí)驗(yàn)配置即可，若發(fā)布時(shí)出現(xiàn)異常可通過(guò)回滾配置恢復(fù)服務(wù)。

在DataTester，除了能夠?yàn)橛脩籼峁〢/B實(shí)驗(yàn)的能力，還能為用戶提供FeatureFlag功能，以滿足A/B實(shí)驗(yàn)全量發(fā)布的訴求，用戶無(wú)需再開(kāi)發(fā)上述的配置服務(wù)?；贔eatureFlag功能，全量發(fā)布實(shí)驗(yàn)時(shí)，用戶僅需要將實(shí)驗(yàn)配置固化為Feature，然后發(fā)布Feature即可，同時(shí)此功能支持自定義流量滿足灰度發(fā)布的需求，保護(hù)上下游服務(wù)，出現(xiàn)異常時(shí)也支持配置秒級(jí)回滾，高效保障服務(wù)安全上線。

以上就是DataTester在推薦系統(tǒng)改進(jìn)中的實(shí)踐及其經(jīng)驗(yàn)總結(jié)，希望對(duì)大家有所啟發(fā)。火山引擎DataTester作為火山引擎數(shù)智平臺(tái)VeDI旗下的核心產(chǎn)品，源于字節(jié)跳動(dòng)長(zhǎng)期的技術(shù)和業(yè)務(wù)沉淀。目前，DataTester已經(jīng)服務(wù)了上百家企業(yè)，包括美的、得到、博西家電、凱叔講故事等知名品牌，助力企業(yè)在業(yè)務(wù)增長(zhǎng)、用戶轉(zhuǎn)化、產(chǎn)品迭代、策略優(yōu)化以及運(yùn)營(yíng)提效等環(huán)節(jié)科學(xué)決策，將成熟的“數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng)”經(jīng)驗(yàn)賦能給各行業(yè)。