产品做A/B测试必须考虑这些事

2 评论 4988 浏览 55 收藏 7 分钟

本篇文章主要介绍在进行AB测试时,需要考虑的点及一些小的细节介绍,并通过一个案例进行结合体验。

问题:产品为什么要做A/B测试?

原因:因为实践是检验真理的唯一标准。A/B测试是一个科学的统计方法,着一统计的诞生,再也不用为了争吵是使用A图片好,还是使用B图片好,好不好按照效果说了算。这样极大的避免了产品经理凭借感觉定方案的情况。

所以本篇文章主要介绍在进行AB测试时需要考虑的点及一些小的细节介绍,并通过一个案例进行结合体验。

一、确定测试目的

A/B测试需要一个目标,以便正确执行:比如产品经理的目标就是想通过测试弄清楚某个颜色方式,或者某个标题能否产生更多订单的转化。而如果你的A/B测试没有目标,那只能是在浪费时间和精力。

确定A/B测试的目标是什么(即要得出什么结论)?

比如我之前做过的百度平台视频类型的小程序播放页A/B测试,目标为:测试在百度平台内部,视频类型的小程序播放页哪种样式(页面布局)效果更好;

目标好(适合)的标准是什么?

视频类型的播放页,好的标准是什么:

  1. 页面的人均点击视频数多;
  2. 页面的人均收益高。

文案好的标准是什么?

按钮的点击与曝光比率越高效果越好。

二、确认参与A/B测试的几版方案

在选择参与A/B测试的几种方案需要想清楚理由,即回答为什么能参与到这次A/B测试中;其次确认参照方案,即参与A/B测试之后的方案除了相互之间进行比较,最终要和哪个方案进行终极PK(当然我直接选用了线上的方案作为参照)。

播放页样式测试方案简介

feed样式:当前视频软件上基本都采用这种feed流样式(腾讯视频、爱奇艺、优酷)。

大图样式:为了与百度小程序广告组件的大图/视频广告样式保持一致。

  • 原因一:提升页面的整体视觉;
  • 原因二:猜测采用这种样式会增加收益(与广告样式相近);

左图右文:目前很多家视频公司相关推荐的主流样式(好看视频、西瓜视频、哔哩哔哩等)。

三、确定所需数据来源(得出结论需要哪些数据做支撑)

1.怎么算人均点击

我所理解的人均点击有两个维度:

  1. 在该页面发生点击的人有没有增多;
  2. 每个人点击的视频数有没有增多。

主要的计算方式如下:

计算用户在不同的页面点击的视频数

怎么算人均收益

人均收益的计算方式:页面总收入/页面UV

  1. 确认页面收益来源:主要有哪些广告位;
  2. 页面UV:每种样式的播放启动用户数。

四、埋点方案确定

根据我们在(三)分析的所需数据进行埋点方案确定

  1. 我们需要在页面的展现上报中上报播放页样式值,用来区分每一个样式曝光了多少次;
  2. 在视频的点击上报中区分行为发生在那种播放页。

五、方案执行

以描述案例做方式执行的步骤:

  1. 与前端约定样式,当推荐返回哪个字段时前端展示什么样式;(别忘了让前端小哥哥加上报吆,若是增加字段了,需要进行数据备案)
  2. 与推荐约定每个样式的投放比例。

当时做测试时样式约定的值及投放的比例(如下图):

六、线上数据跟踪

到这个步骤了,说明前期规划的产品已经上线了。我们的产品经理就需要盯着数据分析结果了,我的建议是线上跟踪所需的数据明细最好在思考(三)阶段的时候列好,这样在数据跟踪时我们只需要按照设想进行数据填充分析即可(当然有不合适的地方还是需要及时改正的)。

eg:百度平台视频小程序播放样式A/B测试人均收益数据明细表(具体数据就不放置了)

七、结论输出

结论输出建议采用的方式:图表配文字结论(直观、清晰)

结论:

  1. 单分析人均收益效果,大图样式明显好于feed样式及左图右文样式;
  2. 从曲线图看出,大图样式的收益高于feed样式,但是人均点击视频数略低于feed样式;所以需要更长的周期去测试这两种样式,最后由更多人去决定选择收益还是体验;
  3. 经过长达6天的测试结果可以看出,左图右文收益与点击效果均是最差,所有在后期继续的测试中可以去掉该样式,将此部分用户分给feed样式。

 

本文由 @李笑笑吆 原创发布于人人都是产品经理。未经许可,禁止转载

题图来自Unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 猜测是因为feed模式占用的高度略小,视觉范围内可以看到的视频个数多(不排除用户有一两下滑动),概率上碰到感兴趣的内容从而点击看的可能性大了一点

    回复
  2. 可以交流一下吗?

    来自浙江 回复