设计沉思录 | A/B测试助力设计师改善产品体验

0 评论 6344 浏览 21 收藏 10 分钟

编辑导读:AB测试是产品、运营同学经常用到的工具,它能够比较不同版本用户体验的变化,收集数据并根据数据分析结果衡量更改对业务的影响,可以确保每个更改都产生正向结果,从而消除创新和迭代风险,让业务快速增长。在产品体验设计工作中,AB测试也是不可或缺的一种有效手段。本文对此进行了说明,与大家分享。

  • “我更倾向于A版方案,视觉风格更加统一,简单直观”
  • “这两个方案我感觉都可以啊,不就是文案的差异吗”
  • “我倾向于B,这一版引导清晰关键指标转化肯定会高”
  • “…”

设计师在日常工作中,始终面对着不断出现的艰难选择,两种看似都可行的设计方案常常难以抉择。面对这种情况,设计师和产品常常会通过测试来最终做出设计决策,而其中较为常用的测试利器就是A/B测试-先把两种(或者多种)方案进行小流量的测试,利用测试的数据来预估全量之后的效果。

下面,我将结合最近的AB测实践,聊聊在产品设计中A/B测试的心得体会,助力改善产品体验。

01 A/B 测试是什么

AB测试是为Web或App界面或流程制作两个(A/B)或多个(A/B/n)版本,在同一时间维度,分别让组成成分相同(相似)的访客群组(目标人群)随机的访问这些版本,收集各群组的用户体验数据和业务数据,最后分析、评估出最好版本,正式采用。①

02 A/B测试能解决哪些问题?

  1. 解决分歧。消解在设计过程中各方的分歧,最终达成方案的共识。
  2. 明确影响的因素。通过不同因素的验证,探寻影响产品转化的因素。
  3. 助力核心数据的增长。通过A/B测试,分析评估出转化最高的方案。
  4. 优化产品体验。降低新方案带来的不确定影响,助力产品体验优化。

03 设计师要如何使用A/B测试呢?

笔者通过公司内部多项AB测实践,总结了一套通用的A/B测试流程,如下图,希望下面的步骤,可以帮你通过A/B测试来提升产品体验。

明确目标-设置变量-设计方案-线上测试-分析迭代

1. 明确目标

在开始测试之前,我们一定要明确希望通过A/B测来达成什么目标。这个可以是提升页面的点击量,可以是提升订单转化,也可能是提高销售额。衡量标准通常是根据公司、产品和团队的具体目标来制定。

以招聘业务线职位列表页优化为例,因为线上列表页存在已久,投递连接转化也相对固定,产品侧希望通过丰富HR字段来探索提升职位列表投递转化的可能性。

通过前期各方的沟通,我们也明确了此次优化的目标为提升用户的投递转化率,基于这个目标,我们也拓展出多个优化方向,我们期望通过A/B测来验证我们的方案,找出最优方案。

2. 设置变量

达成目标的方式有多种,设计师应合理转化产品的目标,拓展多个解题方案。除了产品前期提供的丰富内容变量以外,我们也在信息内容展示形式上拓展出其他多个版本。在内容展示上,设计师也可以在信息元素大小、颜色、布局等多个维度去探究更合理的答案。

在设置变量环节,一个重要的前提是严格控制变量,两两对比只存在一个单一变量,只有这样我们才能判断最终的数据变动是否由某单一变量引起。

在列表页优化项目中,我们确定了以下两个方向去控制变量:

  • 内容层面:验证HR信息、单条推荐理由、多条推荐理由
  • 形式层面:标签的强弱、信息的布局

3. 设计方案

基于讨论的方向,我们共输出7版不同的方案(不包括线上版),两两对比控制了单一变量,从内容有无、标签的强弱、信息的布局等多个维度去反复验证。具体方案如下:

七种方案,在保证单一变量前提下,两两对比组合出多组不同的对照组。

4. 线上测试

通常而言,测试时间至少要达到3天,最长不宜超过14天。测试前2两天数据可能会出现大的波动而导致测试数据出现偏差,结合笔者经验,一般来讲新方案数据趋于稳定需要经历至少3天左右时间。

流量的路径及切分的方式可以根据具体情况来灵活配置,就职位列表来讲,基于Native的职位页面因为开发成本以及发版的限制,显然不适合做多版本的A/B测试,最终我们是在详情页推荐列表的H5页面去做我们的A/B测验,这样的好处显而易见,既规避了主路径列表的风险,又能节省开发量快速上线。同时在流量的切分上,我们采用了1:1的切分方式,以保证样本的平均。

5. 分析结果

方案在上线之后,我们要及时的收集整理我们的测试数据,将所有方案数据和指标进行对比分析,基于结果,选出其中更优秀的方案以达成设计目标。

基于对职位列表数据分析,在职位列表场景下,我们也看到一些结论:

  1. 职位HR信息的露出对用户的决策起到了正向的作用。
  2. 带有单条推荐理由的帖子用户的投递率更高。
  3. 左对齐布局样式比左右对齐布局转化率要高。(职位列表场景下)
  4. 浅色标签相对于重色标签转化略高。(职位列表场景下)
  5. 展露职位hr信息+单条推荐理由+左侧布局头投递率最高。

经过多方案的对比,我们最终确定了最优方案,经过验证的职位列表推全到了大类页,同样带来了不错的数据转化。

04 A/B测试的局限性

A/B测试的方法适用于诸多类型的设计问题,但它并不是完美的,有其自身的局限性。

首先A/B测试只呈现出了结果,而不会为你揭示出现结果的原因。你可以通过AB测试验证哪些元素会影响你的设计结果,但却无法通过A/B测得知这些不同元素有不同结果的原因,A/B测也无法反馈有关用户行为的具体细节,并不能帮助你作更多、更长远的决定。②

A/B测更多的是解决当下哪个方案“更优“而不是“最优”的问题,这就需要我们根据更多的数据分析,结合更多的重复试验来最终推导出原因。

05 结语

诚然,A/B测可以快速验证出当前阶段更优的设计方案,从而降低新方案带来的不确定性。但是,我们应同时看到A/B测的局限性,A/B测试结果不应该作为评判设计作品好坏的标准。A/B测更大的价值在于通过测试结果来发掘问题,改进我们的设计方案进而提升产品体验。

参考文献:

  1. 百度百科-AB测试
  2. Tubik Studio-想验证你的设计?最简单最实用的A/B测试帮你搞定 @陈子木

 

作者:王书伟,视觉设计师

作者:王书伟,视觉设计师本文来源于人人都是产品经理合作媒体@58用户体验设计中心(微信公众号@58UXD),作者@王书伟

题图来自pexels,基于CC0协议

给作者打赏,鼓励TA抓紧创作!
更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!