A/B TEST DESIGN & VALIDATION

关卡难度 AB TEST数据分析报告

B版|容易版对照组

第3—8关保持原来的较低难度。

A版|困难版实验组

在B版基础上,提高第3—8关难度。

初步结论:提升关卡难度后,付费行为有前置,早期LTV优势未能延续,建议保留原版(B版)难度。

备注:本报告已做产品名称脱敏,来源文件路径已替换为匿名编号。

01

实验分组

分流方式

两组使用相同的来源地区和投放渠道。新玩家按进入顺序交替分到A、B组,各占50%。

每组需要多少人

每组至少1,000名新玩家。等两组玩家都过完前7天,再比较收入。主报告固定展示全球;下表列出实际参与比较的人数。

只改什么

B组保持原来的难度,A组只提高第3—8关难度,其他设置一致。

比较与校准

先比较D0—D6的实际LTV,再用目标日龄之前的已成熟数据校准预估,比较至D29。

分组说明

相同来源、按顺序交替分组,是本次实验的分组安排。导出表只有汇总人数,没有玩家ID和入组顺序,所以还无法逐人检查有没有分错组或中途换组。原表中整个统计期的新玩家人数为B组27,602人、A组27,402人;两组人数保留原值。

下表用进入游戏的记录比较渠道占比,同一玩家可能被重复记录,因此只用来看来源构成。全球数据已包含美国,两者不用相加。

02

实验假设和设计

在原来的容易版中,玩家会推关、获取资源、看广告和购买礼包。越往后,继续推关的玩家越少;不同渠道带来的玩家,表现也有差别。

如果提高第3—8关的难度,玩家会不会更需要资源和复活,从而带来更多收入?同时,他们还愿不愿意继续玩?

价值

D6 LTV有没有提高?

比较前7天,平均每位新玩家带来的广告收入和付费收入。广告收入按 eCPM=30 估算。

预估

累计LTV和留存是否接近实际?

比较校准后的LTV、留存预估与实际成熟结果,观察至D29。

验证

收入变化和关卡难度有关吗?

看广告和购买增加在哪些关卡,再结合留存、游戏时长和推关情况,判断这些变化是否与提高难度有关。

03

前期收入对比和预估

比较8/19—10/12安装的玩家,统一观察到10/18。D0是安装当天,D6是安装后第6天;把这7天的人均收入相加,得到前7天的累计收入。

D6 LTV对比

玩家安装日期:8/19—10/12。广告与付费暂按同一币种估算,原表未注明币种。

数据怎么算

先按每天的新玩家人数加权,计算安装后每一天的人均广告次数和付费金额。原字段已经按每位新玩家计算,不再乘一次留存。前7天累计收入公式:V₆=Σ₀⁶(广告次数ₜ×30/1000+付费金额ₜ)。D13、D29等后续数据单独核对,不加进前7天。

前7天字段按每天的值相加。少数美国记录中,广告观看比例与留存略有出入,保留原值。原表没有注明币种,以下用“收入单位”展示,并假设广告估算与原表付费金额使用同一币种。原表金额只保留两位小数,因此列出四舍五入可能带来的范围;这个范围不表示统计上的可信程度。

04

实际数据验证

A组:校准预估与实际

A组和B组:实际表现对比

05

关卡收入对比

按关卡查看广告完整播放次数和礼包购买情况。同一次购买还有另一套按天数统计的记录,这里不重复计算。

各关卡的广告和购买情况

统计8/19—10/19整个期间的记录,用来补充观察关卡变化。

数据怎么算

这里统计8/19—10/19、所有渠道的关卡记录。原表没有每次事件的日期,也没有玩家安装日期,所以无法只取每位玩家的前7天。这组数据用来看收入集中在哪些关卡,还不能解释D6 LTV为什么变化。

pay记录广告完整播放,X表示关卡号。广告估算收入=完成次数×30/1000。iappay只统计“第X关购买”,另套“第Y天购买”记录已排除,避免重复计算。

礼包名称、单价和关卡号按埋点表对应。价格码以美分计:099=0.99 USD,首充099也按0.99 USD。估算付费USD=购买事件次数×单价。ad8/ad30里的数字和关卡号不用作价格。退款、折扣和实际到账金额尚未核对;无法确认名称或价格的记录单独列出。这些关卡估值不替代前7天的原表金额,也不改变LTV模型。

两组进入游戏的记录数不同,比较广告和购买次数时,会除以各组进入游戏的记录数。这个人数与平台安装数不完全相同,同一玩家也可能在多关重复出现。缺少逐人记录,目前还不能确认具体哪些玩家因为关卡变难而购买。

06

用户黏性数据对比

同一批玩家,有多少人继续回来玩

玩家安装日期:8/19—10/12,观察到10/18。

数据怎么算

统一比较8/19—10/12安装的玩家。留存表示这批新玩家中,到某一天仍回到游戏的比例:rₜ=Σ该日回访人数/Σ同批新增。原表“首日”为D0,“次日”为D1,“7日”为D6。后续留存放在预测核对部分,本图固定显示D1—D6,可导出CSV。

玩家首日玩了多久

和D6 LTV使用同一批玩家,比较安装当天的游戏时长。

数据怎么算

比较的仍是8/19—10/12安装的玩家。安装当天的时长按新玩家人数加权。D1—D6保留原表人均时长作为参考;由于缺少每天参与时长统计的人数,不能确认它是否代表全部新玩家。游戏时长和留存分别查看。

从这一关到下一关,少了多少到达记录

统计整个期间的推关记录,重点看第3—8关及后续关卡。

数据怎么算

用各关第1波开始的记录,查看从这一关到下一关少了多少记录。减少比例=1−下一关到达记录/本关到达记录。它能帮助发现推关卡点,但不等于准确的玩家退出率。下一关没有记录时显示缺失,比例为负时保留原值。失败次数不用于计算退出率。

这组数据与关卡收入覆盖相同范围,可以看收入增加和推关卡点是否出现在相近关卡。由于没有逐人记录和安装后天数,还不能证明这些卡点带来了多少D6 LTV。

07

实验结论

数据来源

数据来自本项目A/B报表及已成熟用户汇总。广告按eCPM=30折算,预估与实际按同一成熟批次比较。

08

美国地区数据比对

展开美国地区数据比对:收入、留存与用户黏性

美国:后期收入与留存表现更弱