神策數(shù)據(jù)：游戲企業(yè)如何做產(chǎn)品A/B測(cè)試？三大案例一次搞懂

A/B 測(cè)試是游戲行業(yè)常用的數(shù)據(jù)試驗(yàn)方法，特別是有過(guò)游戲出海經(jīng)歷的企業(yè)，都嘗試過(guò) A/B 測(cè)試：

• 商店 A/B 測(cè)試：在 Google Play 開(kāi)發(fā)者后臺(tái)，通過(guò) A/B 測(cè)試挑選最合適的游戲圖標(biāo)、商店圖、商店視頻和商店文案；
• 廣告投放 A/B 測(cè)試：在 Facebook 投放廣告素材時(shí)，通過(guò) A/B 測(cè)試發(fā)現(xiàn)哪一個(gè)受眾群體可以創(chuàng)造更高廣告價(jià)值；進(jìn)行廣告投放的優(yōu)化，確認(rèn)哪一種投放方式/投放素材可獲得最佳成果；
• 廣告變現(xiàn) A/B 測(cè)試：在變現(xiàn)聚合平臺(tái)調(diào)試廣告變現(xiàn)時(shí)，通過(guò) A/B 測(cè)試尋找更合適的 Waterfall 配置等，尋找最佳的廣告觸發(fā)時(shí)機(jī)、廣告觀看獎(jiǎng)勵(lì)、廣告播放形式等；
• 產(chǎn)品 A/B 測(cè)試：在游戲產(chǎn)品研發(fā)與運(yùn)營(yíng)過(guò)程中，測(cè)試美術(shù)設(shè)計(jì)，如按鈕用什么顏色、什么形狀，NPC 用什么造型、技能特效、抽卡表現(xiàn)等；
• 測(cè)試新手引導(dǎo)，調(diào)整新手階段的節(jié)奏、難度和特定的關(guān)卡設(shè)計(jì)；
• 測(cè)試界面布局，如商城界面布局，包括順序、大小、顏色和邊框等；
• 測(cè)試產(chǎn)品定價(jià)，確定哪些定價(jià)的硬通貨或者禮包對(duì)玩家更有吸引力；
• 測(cè)試變現(xiàn)入口，確定合適的變現(xiàn)入口，使得既可以獲得可觀的收益又不影響玩家體驗(yàn)；
• 測(cè)試玩法機(jī)制，找到更吸引玩家的玩法，如調(diào)整 PVE 通關(guān)獎(jiǎng)勵(lì)領(lǐng)取方式能否提升玩家體驗(yàn)深度，副本增加隨機(jī)隱藏 BOSS 能否吸引玩家再次挑戰(zhàn)，PVP 不同匹配策略對(duì)玩家參與積極性有什么影響。

本文將圍繞游戲產(chǎn)品 A/B 測(cè)試，幫助游戲企業(yè)及時(shí)了解每一個(gè)重要變動(dòng)帶來(lái)的是積極還是消極影響，從而實(shí)現(xiàn)在版本迭代時(shí)達(dá)到更好的留存和收益。

接下來(lái)通過(guò)三個(gè)真實(shí)實(shí)踐案例，講述神策數(shù)據(jù) A/B 測(cè)試如何幫助游戲企業(yè)解決玩家轉(zhuǎn)化與參與度的問(wèn)題。

案例一：限時(shí)活動(dòng) A/B 測(cè)試，玩家游戲進(jìn)度大幅提升

某款休閑游戲上線一段時(shí)間后，玩家付費(fèi)逐漸乏力。策劃同學(xué)希望通過(guò)優(yōu)化限時(shí)活動(dòng)，刺激玩家付費(fèi)，進(jìn)而提升 LTV。目前限時(shí)活動(dòng)設(shè)計(jì)為：玩家在限定時(shí)間通過(guò)指定數(shù)量活動(dòng)關(guān)卡即可領(lǐng)取活動(dòng)獎(jiǎng)勵(lì)。玩家挑戰(zhàn)活動(dòng)關(guān)卡需要消耗體力、攻防增益等道具。道具不足時(shí)，可以通過(guò)內(nèi)購(gòu)商城、觀看廣告兩種方式來(lái)及時(shí)補(bǔ)充。策劃同學(xué)希望通過(guò)在活動(dòng)中加入一些社交競(jìng)爭(zhēng)元素，借助相互攀比的心態(tài)，激勵(lì)玩家盡早通關(guān)活動(dòng)關(guān)卡，提升收益（短期內(nèi)消耗更多付費(fèi)道具）。

在以往實(shí)踐中，將社交競(jìng)爭(zhēng)元素用排行榜的形式來(lái)展現(xiàn)效果會(huì)更好。因此策劃同學(xué)設(shè)計(jì)了三版排行榜展示策略：

1、為玩家展示相同地區(qū)其他玩家的活動(dòng)進(jìn)度；

2、為玩家展示相似水平段位其他玩家的活動(dòng)進(jìn)度；

3、為玩家展示相近剩余體力其他玩家的活動(dòng)進(jìn)度。

同時(shí)，通過(guò) A/B 測(cè)試進(jìn)行策略驗(yàn)證——將玩家分為對(duì)照組和三個(gè)試驗(yàn)組，各組玩家只能看到所屬組的排行榜展示形式：

• 對(duì)照組：此組玩家將不會(huì)被展示進(jìn)度排行榜
• 試驗(yàn)組 1：此組玩家將會(huì)被展示相同地區(qū)玩家的進(jìn)度排行榜
• 試驗(yàn)組 2：此組玩家將會(huì)被展示相似水平段位玩家的進(jìn)度排行榜
• 試驗(yàn)組 3：此組玩家將會(huì)被展示相近剩余體力玩家的進(jìn)度排行榜

圖 神策數(shù)據(jù) A/B 測(cè)試設(shè)置試驗(yàn)分組界面

然后，篩選試驗(yàn)受眾玩家為“活躍玩家”，設(shè)置試驗(yàn)核心指標(biāo)為“活動(dòng)時(shí)間段內(nèi)的人均收益”，設(shè)置試驗(yàn)輔助指標(biāo)為“活動(dòng)參與率”。

接下來(lái)，在進(jìn)行為期一周的觀察之后，發(fā)現(xiàn)試驗(yàn)組 2 的置信區(qū)間在【+4.69%，+9.54%】，核心指標(biāo)有顯著提高，因此，產(chǎn)品團(tuán)隊(duì)將試驗(yàn)組 2 的版本確定為最新可發(fā)布版本。

在該過(guò)程中，神策數(shù)據(jù) A/B 測(cè)試解決方案能夠幫助游戲企業(yè)結(jié)合用戶行為分析，確定應(yīng)對(duì)用戶變化的最優(yōu)解決方案，最大化提升價(jià)值產(chǎn)出與效率。

案例二：通關(guān)獎(jiǎng)勵(lì)展示形式的 A/B 測(cè)試，強(qiáng)化玩家粘性與游戲深度

某 RPG 游戲希望通過(guò)調(diào)整 PVE 關(guān)卡獎(jiǎng)勵(lì)的領(lǐng)取方式，來(lái)提升玩家對(duì) PVE 關(guān)卡獎(jiǎng)勵(lì)的期待，刺激玩家持續(xù)參與關(guān)卡挑戰(zhàn)，從而提升玩家購(gòu)買(mǎi)體力的可能性（挑戰(zhàn)關(guān)卡需要消耗一定體力）。當(dāng)前玩家順利通關(guān)時(shí)，會(huì)展示通關(guān)獎(jiǎng)勵(lì)，同時(shí)獎(jiǎng)勵(lì)道具直接進(jìn)入玩家包裹。針對(duì)此，策劃同學(xué)計(jì)劃在挑戰(zhàn)成功領(lǐng)取通關(guān)獎(jiǎng)勵(lì)階段融入隨機(jī)機(jī)制，增加闖關(guān)樂(lè)趣，設(shè)計(jì)了兩種通關(guān)獎(jiǎng)勵(lì)領(lǐng)取方式：

1、通關(guān)成功后，為玩家彈出大轉(zhuǎn)盤(pán)。玩家轉(zhuǎn)動(dòng)轉(zhuǎn)盤(pán)后，可以獲得指針停留的道具，大轉(zhuǎn)盤(pán)內(nèi)的道具與直接展示相同；

2、通關(guān)成功后，為玩家彈出三個(gè)寶箱。玩家可以選擇任一寶箱獲取里面的獎(jiǎng)勵(lì)，選擇之前無(wú)法看到寶箱內(nèi)道具信息，寶箱內(nèi)道具配置與直接展示相同。

為了快速識(shí)別到最優(yōu)的通關(guān)獎(jiǎng)勵(lì)領(lǐng)取方式，策劃同學(xué)通過(guò) A/B 測(cè)試觀察各個(gè)策略的數(shù)據(jù)結(jié)果輔助決策，將玩家分為對(duì)照組和兩個(gè)試驗(yàn)組，各組玩家只能看到所屬組的獎(jiǎng)勵(lì)領(lǐng)取方式：

• 對(duì)照組：直接展示關(guān)卡獎(jiǎng)勵(lì)，玩家直接領(lǐng)取獎(jiǎng)勵(lì)
• 試驗(yàn)組 1：以轉(zhuǎn)盤(pán)形式展示獎(jiǎng)勵(lì)，玩家通過(guò)旋轉(zhuǎn)轉(zhuǎn)盤(pán)領(lǐng)取獎(jiǎng)勵(lì)
• 試驗(yàn)組 2：以三寶箱形式展示獎(jiǎng)勵(lì)，玩家通過(guò)選擇任一寶箱領(lǐng)取獎(jiǎng)勵(lì)

在該試驗(yàn)中，篩選試驗(yàn)受眾用戶為“新注冊(cè)玩家”，試驗(yàn)核心指標(biāo)為“人均關(guān)卡通過(guò)次數(shù)”，試驗(yàn)輔助指標(biāo)為“人均在線時(shí)長(zhǎng)”，綜合觀察指標(biāo)變化后，發(fā)現(xiàn)試驗(yàn)組 1 玩家平均通過(guò)關(guān)卡次數(shù)為 11.91 次，試驗(yàn)組 2 玩家平均通過(guò)關(guān)卡次數(shù)為 12.27，均明顯高于對(duì)照組直接展示關(guān)卡獎(jiǎng)勵(lì)的 11.2 次。因此，該游戲團(tuán)隊(duì)將試驗(yàn)組 2 作為正式版本對(duì)外發(fā)布。

案例三：新手限時(shí)禮包展示時(shí)長(zhǎng)的 A/B 測(cè)試，有效提升玩家購(gòu)買(mǎi)率

某策略游戲的策劃團(tuán)隊(duì)對(duì)于新手限時(shí)禮包的購(gòu)買(mǎi)率不太滿意，希望通過(guò)策略優(yōu)化實(shí)現(xiàn)購(gòu)買(mǎi)率提升。

目前，該游戲的新手禮包限購(gòu)時(shí)長(zhǎng)為 3 天，因此，策劃同學(xué)計(jì)劃通過(guò)調(diào)整禮包限購(gòu)時(shí)長(zhǎng)來(lái)營(yíng)造緊張感，刺激玩家購(gòu)買(mǎi)，從而提升禮包購(gòu)買(mǎi)率。按照這一思路，策劃同學(xué)設(shè)計(jì)了一次 A/B 試驗(yàn)，將當(dāng)前限時(shí) 3 天購(gòu)買(mǎi)的新手禮包作為對(duì)照組，將限時(shí) 2 天購(gòu)買(mǎi)的新手禮包作為試驗(yàn)組 1，將限時(shí) 1 天購(gòu)買(mǎi)的新手禮包作為試驗(yàn)組 2，將限時(shí) 7 天購(gòu)買(mǎi)的新手禮包作為試驗(yàn)組 3。各組禮包內(nèi)的道具都一樣。

在進(jìn)行試驗(yàn)的過(guò)程中，篩選試驗(yàn)受眾用戶為“新注冊(cè)用戶”，設(shè)置試驗(yàn)核心指標(biāo)為“禮包購(gòu)買(mǎi)率”，設(shè)置試驗(yàn)輔助指標(biāo)為“禮包查看次數(shù)”。

經(jīng)過(guò)觀察與分析試驗(yàn)效果發(fā)現(xiàn)，對(duì)照組與試驗(yàn)組的禮包購(gòu)買(mǎi)率分別如下：

可以看出，試驗(yàn)組 2 的禮包購(gòu)買(mǎi)率相較于對(duì)照組提升明顯，能夠最大限度滿足此次改版需求。

此次試驗(yàn)中，該游戲企業(yè)通過(guò)神策數(shù)據(jù)的 A/B 測(cè)試解決方案，能夠覆蓋完整用戶操作觸點(diǎn)，并得益于 One ID 映射方案，輕松實(shí)現(xiàn)用戶跨端識(shí)別。與此同時(shí)，運(yùn)營(yíng)同學(xué)可以將一份流量克隆為多份，流量復(fù)用，面向同一個(gè)玩家同時(shí)進(jìn)行多個(gè)試驗(yàn)；也可以將一份流量分割為多份，分配給多個(gè)試驗(yàn)使用，同時(shí)保證各試驗(yàn)流量相互隔絕，保持流量互斥；除此之外，還可以將一份流量拆分為多組，分配給多個(gè)試驗(yàn)版本使用，并靈活調(diào)整各組分配比例，基于此實(shí)現(xiàn)一份流量、多份使用，大幅提升試驗(yàn)并行數(shù)量。

綜上，神策數(shù)據(jù) A/B 測(cè)試能夠幫助游戲企業(yè)在研運(yùn)過(guò)程中，以更低成本做更多、更精準(zhǔn)的試驗(yàn)，驅(qū)動(dòng)科學(xué)決策的誕生。