3步打造完美A/B实验版本,让增长效果翻倍!

0 评论 613 浏览 1 收藏 10 分钟

你是否有过当实验版本上线后,却发现有些实验细节还没想清楚?怎样的实验版本设计才能避免此类问题呢?本文将为你揭秘那些成功实验版本背后的3个简单步骤。

一、实验版本设计要点

在这一部分要回答的问题是实验所做的改动在哪里?设计几个版本,它们之间的区别是什么?以及这些流量在版本之间是如何分配的。

1. 明确实验改动的位置

设计实验版本的第一步,是要明确实验所做的改动在哪里。这一点比较简单,例如你的改动可能在APP的主页、营销落地页的按钮,或者是整个新用户注册流程等。

明确改动位置后,工程师和设计师就知道去哪里做开发和设计了。

2. 确定实验版本数量和区别

第二步是针对改动位置,考虑设计几个版本,以及版本之间有什么区别。这里有几个要点:

(1) 新版本数量取决于实验假设数量

新版本的数量其实取决于针对改动点,你有几个实验假设。

假设数量多,可能就要设计多个新版本;假设只有一个,那就只需设计一个新版本。

(2) 选择高质量实验假设,避免随意改动

我们要注意的是,不要随意想当然地改动。所有的实验假设和版本设计,都要选择那些高质量、有依据的,这样才能提高实验成功率,避免浪费开发设计资源。

(3) 区分优化实验和探索实验

a.优化实验:每个版本只改变单一变量

举例来说,如果你要优化一个落地页,想看每个元素如何改动效果最好,那你可以试试不同颜色的按钮、不同文案、不同图片,每个版本只改变一个变量如颜色、文案或图片。

这样可以明确判断每个改动的影响。等确认了哪些改动有效,最终版本再把它们合并起来。

b.探索实验:可同时改变多个变量或设计全新版本

另一类是探索性实验,你可以在一个版本中同时改变多个变量,或者设计一个全新的版本。常见于两种情况:

要么是之前已经做了很多局部优化实验,洞察积累多了,想要突破局部最大化的瓶颈;

要么是现有版本表现太差,与其慢慢优化,不如推倒重来,设计一个理想版本。此类实验允许大刀阔斧地改动。

(4) 版本数量越多,所需总样本量越大

需要强调的是,版本数量越多,实验所需的总样本数就越大。如果你的用户量不够大,建议不要设置太多的版本。

3. 若分流不均匀,实验结论可信性降低

在明确了几个实验版本之后,下一个问题是如何在这些版本之间分配用户流量。

我们还是以一个红蓝按钮的例子来说明。假设在一个实验中,50%的用户看到蓝色版本,另外50%看到红色版本。

我们的实验假设是,红色按钮更醒目,所以点击率会更高。

如果实验观测到,红色版本的点击率比蓝色高出50%,据此我们得出结论:红色版本比蓝色版本更好。但事实真的如此吗?

举一个极端例子,如果分到红色组的用户全是红绿色盲,你还能得出这个结论吗?显然不能。

这说明了,AB实验中的样本分流是否均匀,会极大影响实验结论的可信性。如果样本分流做得不好,实验结果可能根本没有参考价值。

二、样本科学分流的重要性

1. 分流均匀可消除外在因素影响,确保实验组和对照组的可比性

样本分流之所以要做到均匀,就是要消除一切外在因素的影响,确保对照组和实验组之间唯一的区别就是实验改动点,其他条件都一致

这样才能放心地将最终指标的差异归因于实验改动,而非其他随机因素。

举个例子,复联中的灭霸要随机消灭一半人口。这里的”随机”很关键,如果消灭的方式有选择性,比如留下的都是实力较弱的超级英雄,那他们最后输给灭霸,并不能说明这些英雄真的不如灭霸。因为消灭过程不是随机的,不符合分流均匀的要求。

2. 样本科学分流需达到四个标准

(1) 均匀性

分流人群各维度分配比例均匀

(2) 唯一性

同一用户始终保持在原实验分组

(3) 定向性

针对特定用户类型设定实验受众分层分流

(4) 可重复性

不同实验之间的分流不冲突

3. 科学分流需从技术层面保证,以支持AB测试结果的可信性

(1) 使用第三方AB测试工具可简化样本分流过程

第三方AB测试工具可以很方便地完成样本分流。

以吆喝科技产品为例,可以在后台设置有多少流量进入实验,如果有多个实验同时进行,还能设置不同实验之间的流量分配。

然后再进一步设置实验内部的分组,如50%进入对照组,50%进入实验组。

第三方工具可以保证分流的均匀性和唯一性。

(2) 自建AB测试系统需关注分流系统的建设

如果要自建AB测试系统,分流系统是需要重点关注的。

这里分享一个电商公司自建分流系统的案例,他们大概花了一个月时间搭建了基本的分流架构:

增长 or 运营团队提交分流需求 → 工程师后端进行用户分流,前端APP和小程序埋点不同实验版本 → 后端控制前端执行相应实验版本,收集数据 → 分析师手动进行统计分析。

综上所述,明确改动点,创造高质量假设,并科学分配流量,是设计实验版本的根本。

三、实验设计步骤(系列文章小结)

1. 选择实验指标

选择指标时,除了核心指标,还要考虑辅助指标和反向指标,以全面评估实验效果。

2. 确定实验受众

需要考虑:受众范围、样本量和实验时长评估。

(1) 统计显著性与所需样本量的关系

实验需要的样本量,与原版本转化率、新版本预期提升幅度、统计显著性要求都有关系。

(2) 样本量过大时的实验设计调整方法

如果评估发现所需样本量过大,可以考虑加大改动幅度、减少版本数量等方式,对实验设计进行调整。

3. 设计实验版本

需明确改动位置、版本数量和类型。

(1) 实验假设数量决定版本数量

在设计实验版本的时候,要考虑有几个高质量的实验假设,那就设计几个实验版本。

(2) 优化实验与探索实验的版本设计区别

同时我们也要考虑我们这个实验是一个优化实验还是一个探索实验。优化实验建议去做单变量的测试,而探索实验可以做一个全新的设计。

4. 进行流量分配

科学分流是获得可信实验结果的关键。流量分配必须严格执行科学分流,不管是用第三方工具还是自建分流系统,这是获得可靠实验数据和结论的基础。

5. 实验开发上线总结优化

最后,在实验版本开发上线后,我们就可以收集数据,得出实验结果,总结实验心得,并规划后续优化计划,从而完成一次完整的AB实验。

最后总结一下,实验设计的艺术在于精确识别改动点、构建可靠实验假设、执行科学流量分配。通过本文的学习,希望你可以更系统、科学地进行实验,从而更精准地优化运营策略,提升运营效果。

本文由 @小黑哥 原创发布于人人都是产品经理,未经许可,禁止转载

题图来自 Unsplash,基于 CC0 协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!