停止无效实验,产出高质量实验假设(下)

0 评论 1018 浏览 3 收藏 9 分钟

市面上大多数关于增长实验的建议都聚焦于如何执行。但是,真正的秘诀不在于执行,而在于如何识别并停止那些注定无效的实验。

01 通过多轮数据分析提升假设质量

当你完成了三类数据(定量分析、定量分析、参考最佳实践)的收集和分析后,如果仍然没有形成清晰的实验假设,或者假设过多,可以通过多轮数据分析来提升假设质量。

接下来我们以“社交APP小恩爱注册转化率优化”作为案例,详解去粗留精的优化过程。

1. 分析数据发现问题,形成初步假设

首先第一步通过漏斗数据分析发现,小恩爱APP的注册流程,第三步资料填写页的转化率非常低

据此产品运营同学形成了一些初步的假设,比如说是不是资料转化页上添加头像的字体不明显,或者我要的信息太多了,或者用户找不到照片上传,或者上传照片太慢等等,很多个初步假设。

接下来就要去通过进一步数据分析的方式去筛选这些假设。

2.细查流失用户路径,筛选优化假设

第二个动作是细查流失用户的操作路径。这个时候就发现了很有意思的现象,在所有流失的用户里面,有两个路径是最常见的:

  • 第一,用户在这个整个过程中没有找到合适的头像,数据显示点击了添加头像,然后等了一会儿,但最后也没有上传,就走掉了。
  • 第二,用户点了添加头像,并且上传了照片,但是怎么都传不上来

这两种路径是比较普遍的路径。

据此,他们进一步筛选出两个假设:

  • 优化注册页面逻辑,头像上传改为非必须
  • 优化上传服务,提升上传速度

最终,经过实验验证,这两个改动使注册转化率提升了20%。从这个案例可以看出,多轮数据分析能够帮助产出高质量的实验假设。只要以数据分析去寻根问底,验证假设就能点石成金。

02 产生高质量实验想法的两种方法

1. 应用三类数据

(1)定量数据:通过定量数据分析,可以发现具体问题所在。

(2)定性数据:运用定性数据和用户调研,可以深入理解问题发生的原因。

(3)参考最佳实践:参考业内最佳实践,可以获得问题的解决思路。当然最佳实践也不是需要盲目的去遵从,还是通过自己的测试和实验得到最终的结论。

上一篇文章有详细说明,本文就不赘述了。

2.通过多轮数据分析提升假设质量

如果一轮数据分析没能找到高质量假设,或假设过多,可以通过多轮分析提升假设质量。

因为我们知道开发一个实验是非常成本高昂的,如果能通过数据分析的方式排除掉那些不靠谱的实验,相当于间接的就节省了实验开发的成本,瞄准高质量假设,显著提高增长实验的整体效率。

三、形成清晰的实验假设

在产生大量想法后,需要将它们整理成清晰的实验假设。清晰假设应具备以下特征:

1. 清晰实验假设的特征

(1)明确可衡量

(2)有时间限制

(3)可被证伪

(4)可解释背后原因

什么是清晰的实验假设?

举例:

  • “写公众号可以带来新用户注册”——这是个清晰的假设吗?显然不是,它只是非常虚的一句话。
  • “写公众号可以带来 100 个新用户注册”——这个会比上面一个强一点,因为它有数字去支持,但是它还是不是特别清晰,因为清晰的实验假设必须有时间限制,写公众号如果等一年可能可以带来 100 个新用户注册,这件事就没有什么意义了。
  • “写一篇公众号可以在发表两周内带来 100 个信用户注册”——这个就已经清晰很多了,有非常明确的可以去衡量的结果。
  • “写一篇关于产品的公众号长文,可以在发表两周内带来 100 个新用户注册,因为这篇公号会给大家清晰的介绍产品的价值主张。”——这就是一个非常清晰的实验假设,它有非常明确的指标,也时间的限制,同时解释了背后的原因,且是可以被证伪的,也就是可以根据实际的结果去推翻它。

其实,没有清晰的假设就直接开干是很多实验失败的最常见的原因。

2.实验假设输出模板

以上一篇文章中提到的海报设计应用canva优化实验为例,输出假设建议采用以下模板:

(1)做什么具体改动:可以设计个人化的海报新用户引导流程

(2)预计某指标提升百分比:预计海报功能新用户激活率可以提升10%

(3)深层原因是什么:当人们通过海报功能找到canva,他们想要很快的完成设计,如果没有找到合适的模板,就很容易流失掉

(4)有数据支持的假设:使用海报功能是最多的,但是很多用户开始使用海报功能之后没有完成就流失掉了

这一模板能帮助清晰记录假设内容、预期效果、原因解释和支持证据。

04 应对产生实验想法时的两种情况

在产生实验想法时,可能遇到两种极端情况,需要采取不同应对策略。

1.没有想法时,通过群组讨论快速产生想法

面对实验目标没有任何想法时,可采用以下方式快速集思广益:

(1)头脑风暴:通过群组讨论的方式,所有人各抒己见,集中提想法且不做评判和回答,只做记录,事后再评估筛选想法。

(2)闪电Demo:每个人快速的拿几个竞品和非竞品来给整个团队进行Demo演示,并共同从中找到可借鉴的点子。

(3)设计冲刺:带领团队在5天内高效的解决设计问题,并且测试想法是否奏效。

2.想法过多时,通过实验想法库管理

群组讨论后若想法过多,可建立实验想法库进行管理:将每个人的假设和想法集中记录在同一个表格中,excel想法库也可以为后续寻找实验灵感提供丰富素材。

最后总结一下,精准的数据分析、清晰的假设构建、有效的假设验证——这三个步骤是落地高质量实验假设的关键。相信你掌握了这一流程后,增长实验的贡献效率将大大提升。

本文由 @小黑哥 原创发布于人人都是产品经理,未经许可,禁止转载

题图来自 Unsplash,基于 CC0 协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!