阿L：聊一聊 AB測試平臺指標(biāo)配置

你是否遇到下面的問題？

• AB 測試前定好的觀察指標(biāo)需要人工跑數(shù)據(jù)獲取，導(dǎo)致實驗周期拉長；
• 觀察的實驗指標(biāo)數(shù)據(jù)和 BI 上存在差距，需要找數(shù)據(jù)開發(fā)詢問口徑和統(tǒng)計邏輯，導(dǎo)致溝通成本增大。

在上面問題的背景下，今天和大家一起聊下 AB 測試平臺的指標(biāo)配置能力。

1 了解實驗指標(biāo)

實驗指標(biāo)是指，我們在 AB 測試過程中，定好的用來衡量實驗效果的度量。例如下面的點擊轉(zhuǎn)化率就是我們定好的一個實驗指標(biāo)。

1.2

實驗指標(biāo)的分類

從以下兩個方面可以對實驗指標(biāo)進(jìn)行分類。

• 類型：

比例型實驗指標(biāo)，例如點擊轉(zhuǎn)化率、次日留存率、CTR 等；

人均值實驗指標(biāo)，例如人均點擊次數(shù)、人均下單金額等；

兩類指標(biāo)的差異體現(xiàn)在假設(shè)檢驗時計算樣本方差的方式，其中比例型指標(biāo)是基于伯努利分布近似計算。

• 用途：

核心指標(biāo)，用來決策測試組勝出的直接指標(biāo)，例如上面表格中通過點擊轉(zhuǎn)化率決策，得到實驗組 B 勝出；

必看指標(biāo)，每一個測試需要觀察的指標(biāo)，雖然測試功能可能對其無直接因果關(guān)系的影響，但不能對其有顯著負(fù)向的影響；

除了上面提到的幾類指標(biāo)，偶爾會對比一些絕對值的指標(biāo)，例如總的點擊用戶數(shù)、總的下單金額。筆者認(rèn)為只有在進(jìn)入測試組人數(shù)相同的情況下，對比這樣的絕對值指標(biāo)才有意義。否則還是需要轉(zhuǎn)化成比例型或者人均值指標(biāo)，進(jìn)行對比。

2 指標(biāo)配置的必要性

1、實驗結(jié)論要快

AB 測試平臺指標(biāo)固化需要研發(fā)投入，有一定的人力和時間周期成本。若測試過程中依賴實驗指標(biāo)固化，會延長整個測試周期，最終導(dǎo)致 AB 測試無法快速迭代。

2、實驗指標(biāo)多，無法提前全覆蓋

不同的 AB 測試，觀察的實驗指標(biāo)不同。例如 UI 測試，會評估目標(biāo)點擊轉(zhuǎn)化率；頭條 feed 流測試，會評估人均閱讀時長等。

把所有可能的實驗指標(biāo)都固化下來，100% 無法實現(xiàn)。有些指標(biāo)只會在特定實驗觀察，固化下來也會存在浪費資源。

基于以上原因，AB 測試平臺具備指標(biāo)配置和管理能力必不可少。一方面提升必看指標(biāo)固化的生產(chǎn)效率，另一方面對于個性化指標(biāo)，提供了快速觀察的可能。

3 指標(biāo)配置的原理

指標(biāo)配置是一個建立在數(shù)倉中間層模型結(jié)構(gòu)上，進(jìn)行參數(shù)配置化的指標(biāo)開發(fā)系統(tǒng)。可按照一定的計算規(guī)則進(jìn)行自由的拼裝，實現(xiàn)自定義指標(biāo)的功能。

3.1

基于埋點事件進(jìn)行指標(biāo)配置

這類指標(biāo)配置依賴埋點管理平臺中的埋點元信息。例如我們要配置一個點擊注冊按鈕人均次數(shù)，只需要選中名為 “點擊注冊按鈕” 的埋點事件名稱，聚合方式選擇 “人均次數(shù)”，即可完成指標(biāo)的配置。

這種配置方式的實現(xiàn)原理，筆者會通過下面一個簡單的例子給大家介紹，同時基于這種思想后面會引申出另一種指標(biāo)配置方式。

在數(shù)倉中假設(shè)我們的埋點數(shù)據(jù)存儲下面的中間層 event_data_df 中。

我們通過以下 hivesql 可以生產(chǎn)出點擊注冊按鈕人均次數(shù)的指標(biāo)數(shù)據(jù)。

select
       day,
       count(*)/count(distinct uid) as index_value
from
       event_data_df
where
       event_id='click_purchase'
group by
       day

其中 click_purchase 是我們配置的事件名稱 “點擊注冊按鈕” 對應(yīng)的事件 ID，而count(*)/count(distinct uid) 對應(yīng) “人均次數(shù)” 的聚合方式。

不難看出我們配置的埋點信息，都會拼裝成一定的 sql 提交到計算平臺進(jìn)行計算。計算平臺通過計算引擎、任務(wù)調(diào)度將指標(biāo)結(jié)果計算出來，并同步至 AB 測試平臺進(jìn)行展示。如果要對埋點事件參數(shù)過濾或結(jié)果展示維度的配置，大家可以思考下會對應(yīng)什么樣的計算 sql，這里筆者就不詳細(xì)介紹了。

3.2

基于數(shù)倉中間層進(jìn)行指標(biāo)配置

在介紹之前，先跟大家聊一下模板化思維的方式。

生活中大家可能遇到過這種場景，用微波爐加熱食物。時間太短，可能不熱。溫度太高，食物過硬。假設(shè)我們給微波爐設(shè)定個程序，第一步先用高火加熱，第二步再用中火加熱，一共加熱 5 分鐘。加熱雞腿時第一步 4 分鐘，第二步 1 分鐘，防止高火時間短導(dǎo)致不熱；加熱饅頭時，第一步 1 分鐘，第二步 4 分鐘防止高火導(dǎo)致食物過硬。

這個程序我們稱為模板，每一步的加熱時間是模板的參數(shù)，由我們加入的食物決定的。食物就是我們這個模板的配置項，決定模板參數(shù)的具體取值。

同樣的思想，指標(biāo)生產(chǎn)的計算 sql 中，筆者設(shè)定了以下幾個參數(shù)，通過配置項進(jìn)行指標(biāo)的生產(chǎn)。

指標(biāo)的數(shù)倉中間層，對應(yīng)事件配置中的 event_data_df；

過濾條件，對應(yīng)事件配置中的 event_id=’click_purchase’；

聚合方式，對應(yīng)事件配置中的 count(*)/count(distinct uid)。

其中比較有難度的是對聚合方式的抽象，大家可以考慮下自己做的指標(biāo)中，分別有哪些聚合方式。

4 指標(biāo)配置可以帶來什么

指標(biāo)配置的核心思想，是建立一站式的指標(biāo)可視化開發(fā)服務(wù)，覆蓋了從指標(biāo)定義、指標(biāo)開發(fā)、任務(wù)調(diào)度、指標(biāo)發(fā)布、指標(biāo)應(yīng)用的全過程。

指標(biāo)配置應(yīng)用在 AB 測試平臺上，主要有以下優(yōu)勢：

1、指標(biāo)計算邏輯清晰

每個指標(biāo)基本信息、中間層模型、調(diào)度信息平臺可查，數(shù)據(jù)血緣清晰明了。

2、指標(biāo)口徑和需求一致

AB 測試平臺、BI 平臺等數(shù)據(jù)平臺展示的指標(biāo)都是配置化生產(chǎn)出來的，相同指標(biāo)口徑和用戶需求一致，不會出現(xiàn)跨平臺的差異。

3、相同的指標(biāo)需求，配置一次就夠

配置的指標(biāo)在 AB 測試平臺上或者其他平臺都可以使用，不需要重復(fù)加工生產(chǎn)。

5 企業(yè)內(nèi)部和商業(yè)化 AB 測試平臺的差異

根據(jù)筆者的調(diào)研發(fā)現(xiàn)，企業(yè)內(nèi)部 AB 測試平臺和商業(yè)化的 AB 測試平臺，在指標(biāo)配置功能建設(shè)上存在比較大的差異。

1、數(shù)據(jù)來源的差異

商業(yè)化 AB 測試平臺會和埋點行為分析等平臺形成產(chǎn)品合力，能夠分析的數(shù)據(jù)大都是埋點 SDK 采集的用戶行為數(shù)據(jù)。

而企業(yè)內(nèi)部構(gòu)建的數(shù)倉不僅包括用戶行為數(shù)據(jù)，還有服務(wù)器日志、外部數(shù)據(jù)等。

2、產(chǎn)品目標(biāo)人群的差異

商業(yè)化 AB 測試平臺面向 B 端公司中負(fù)責(zé)數(shù)據(jù)分析的角色，且 B 端公司無法對數(shù)據(jù)源進(jìn)行二次開發(fā)。

企業(yè)內(nèi)部 AB 測試平臺角色分工明確，數(shù)據(jù)開發(fā)負(fù)責(zé)指標(biāo)生產(chǎn)，產(chǎn)品運營負(fù)責(zé)獲取數(shù)據(jù)進(jìn)行分析。

綜上所述，企業(yè)內(nèi)部 AB 測試平臺指標(biāo)配置會考慮提升數(shù)據(jù)開發(fā)指標(biāo)生產(chǎn)效率，故而會優(yōu)先選擇基于指標(biāo)數(shù)倉中間層配置指標(biāo)的方式。而商業(yè)化 AB 測試平臺，面向 B 端用戶，需要降低配置門檻，會選擇基于埋點事件配置指標(biāo)的方式。

6 結(jié)尾

筆者所在公司的指標(biāo)配置是一個獨立的平臺，在設(shè)計內(nèi)部 AB 測試平臺指標(biāo)配置能力時，我們直接復(fù)用了指標(biāo)管理平臺的能力。在指標(biāo)統(tǒng)計口徑上做到了完全復(fù)用，保障了指標(biāo)口徑的統(tǒng)一。AB 測試平臺負(fù)責(zé)在實驗統(tǒng)計模型方面沉淀數(shù)據(jù)應(yīng)用，如常見的實驗樣本量的計算、實驗指標(biāo)的顯著性和置信區(qū)間的計算等。期待下期給大家分享這些統(tǒng)計模型的實現(xiàn)方式。

作者介紹

@ 阿L

熱愛學(xué)習(xí)的數(shù)據(jù)產(chǎn)品一枚；

持續(xù)更新 AB 測試平臺系列文章；

“數(shù)據(jù)人創(chuàng)作者聯(lián)盟”成員。