停止无效实验,产出高质量实验假设(上)

0 评论 685 浏览 6 收藏 16 分钟

想提高AB实验的质量吗?本文将揭示如何通过深入的数据分析与用户洞察,产出高质量实验假设,停止无效的实验尝试。

一、实验想法的产生

1. 避免错误的实验出发点

很多人在做实验时,往往从自己的想法出发,觉得设计难看想做更好看的,觉得按钮应该是红色不是蓝色,或者觉得竞品的某个功能不错也想测试一下。

但正确的做法应该是从用户和业务问题出发,比如用户反馈某个流程太复杂,或者数据显示某个关键指标下降、转化率很低等。找对实验的出发点是极其重要的第一步。

2. 实验想法的来源

1)用户和业务问题出发

实验想法应该从解决用户和业务的实际问题出发,而不是主观臆测

比如用户反馈称订单提交流程太长影响体验,数据也显示这一步骤的流失率很高,这就是一个明确的优化方向。再比如数据显示搜索准确率较低导致用户满意度下降,这也是一个亟待解决的问题。

2)关键指标分析

另一个实验想法的重要来源是关键指标的变化

如果一直以来比较稳定的指标如激活率、留存率、转化率等突然出现了明显下滑,或者长期低于竞品水平,这很可能意味着产品设计存在问题,值得深入分析原因并设计实验进行优化。

相反,如果关键指标表现一直很好,可以考虑做一些更长期的实验,尝试引入新功能、新体验。

3)参考最佳实践

除了通过定量定性数据分析寻找洞察,参考相关领域的最佳实践也是一个重要的思路来源。

比如做注册流程优化,不妨先去看看业内卓越的产品是如何设计的,总结他们的特点,再结合自身产品特点,形成优化方案。

又比如想做品类页面重构,可以先研究其他产品的同类页面,分析哪些模块提升了用户的购买意愿,哪些模块可能分散了用户注意力,再对标找寻差距和机会点。

二、高质量实验想法的标准

1. 实验结果的显著性

高质量的实验想法,往往能带来显著的结果提升,实验成功率高

比如测10个实验有4-5个是成功的,而不是大多数都是失败的。

2. 实验假设的数据支持

判断实验想法质量的另一个标准是,实验假设是否有充分的数据支持

一个好的实验假设,往往建立在大量的数据分析基础之上,能够用数据解释为什么会出现当前的问题,以及为什么认为这个实验能够解决问题。

三、实验假设的形成

1. 实验类型与目标对应

1)单点转化率提升

对于提升单个页面或元素转化率的实验,主要使用定量分析计算转化率、热力图、用户分群等,定性分析包括可用性测试、问卷反馈等,最佳实践有文案、设计、用户心理学等方面的参考。

如”在行”app通过用户调研发现,较长的课时数会降低用户了解课程的欲望。于是他们尝试去掉总课时显示,最终使点击率提升了500%。这一假设的形成正是源于用户反馈的洞察。

2)全路径转化率优化

而漏斗或路径转化率的优化实验,使用的分析方法与前者类似,只是多了漏斗分析、路径设计等数据部分。

例如电商平台斗牛想提高销售额,在下单页面加了一句”平台鉴定通过再发货”,结果下单率提升46%,支付率提升70%。

他们先明确了提升下单率的目标,然后通过用户访谈发现担心假货是一大障碍,由此得出了添加品质保证有助提升下单的假设。

后来斗牛还把多步的结算流程合并,改为支付弹窗,使得支付转化率比原来提高26%。这个想法是通过定量分析发现结账漏斗流失率高,结合”漏斗步骤越少转化率越高”的最佳实践而形成的。

3)新功能或版本的测试

当要测试一个全新的功能或版本时,由于缺乏历史数据参考,需要先尽可能收集潜在用户的反馈,可以通过用户访谈、问卷调查等方式。同时可以参考同类型功能在竞品中的效果,结合自身的差异化定位,形成测试假设。

比如视频网站爱奇艺在上线弹幕功能前,可以先研究弹幕在其他视频网站的使用情况,再结合自身的清晰度、观影氛围的定位,测试弹幕的字体大小、透明度、开关等,以找到最平衡的设计。

2. 高质量假设的案例

1)Canva个人化上手实验

澳洲公司Canva的产品是在线作图软件,它做了一个新用户个人化上手的实验——给新来的用户提供了一些海报的模板,让你们去选,然后再去做你们想做的海报。

这一个非常小的实验发现这个功能本身的激活率提升了12%,同时每年给这个公司带来了上百万的美金的利润。

这样一个看上去不是很复杂的实验,为什么结果这么好?他们是如何找到这样一个高质量的实验想法?

其实就是回归刚才说的,从数据中去寻找洞察。

首先他的目标是提升新用户的激活率,他们通过很多的定量分析就发现在所有开始使用产品的用户中,使用海报功能是最多的,但是很多用户开始使用海报功能之后没有完成就流失掉了。

接下来他们又通过定性分析的方式去寻找原因,他们做了可用性测试,针对流失用户和留存用户做了问卷来进行对比。最终他们得到了一个洞察——来到 Canva使用海报功能的用户,他们做海报的类型五花八门,有的是小学老师给他们班级演唱会做海报,有的是一个教堂想要做一个海报,有的是各种各样其他的原因。如果用户没有找到一个合适的模板能够马上使用,他们马上就走掉了。

市面上很多的产品都有个人化的上手流程,根据用户的目标提供不同的服务。这样的个人化的流程最佳实践一般来说表现是很好的。

所以它结合数据和最佳实践,最终形成了它的实验假设——给用户开发个人化的这个海报模板可以提升激活率,最终实验结果证明了它的假设是正确的。

综上,Canva就通过三步骤——明确目标+定量和定性分析的方式找到问题+参考最佳实践,产生高质量的实验想法。

2)滴滴快车营销页转化率提升

滴滴想提升快车营销页的注册转化率,最终在新版本中突出了明确的价值主张”每天跑一单,油钱轻松赚”,整体设计也更加清晰,重点突出,明确引导用户下一步行动。最终使注册率提升了21%。

那滴滴是怎么产生这样一个高质量的实验想法?

滴滴去参考市面上的一些转化率优化的最佳实践——lift 模型,这是很多公司在进行转化率优化中非常用的一个模型,它强调的就是你要给用户一个清晰的价值主张,这是转化率优化最重要的一个点,之后你要想办法去提高相关性和清晰度。

相关性也就是整个用户流程,用户的针对性,整个漏斗每个步骤之间要一致,不能互相冲突。

清晰度是整个的设计文案,call to action 等等按钮,每一个元素都要非常的清晰。

这两件事儿,就是降低这个用户的焦虑和注意力分散,不要给他太多的信息,太多的选项。

四、实验设计的策略

1. 数据分析的深入

1)三要素的综合利用

定量数据能帮我们发现问题所在,如某个漏斗的转化率很低;

定性数据能帮我们了解问题发生的原因,如转化率低是因为用户觉得操作太复杂;

最佳实践则提供了优化思路,如加个进度条让用户有明确预期。

所以我们要有意识的去应用定量分析、定性分析、最佳实践这样三种数据去给我们的假设提供证据。

2)多轮数据分析提升假设质量

有时我们需要发现问题,分析数据得出初步假设,然后再进行一轮分析排除一些假设,发现质量更高的假设,多轮分析有助不断提高假设的质量。

比如先从整体数据发现问题,形成初步猜想,然后深入分析具体受众、场景,修正假设。接着通过用户调研验证假设,必要时再收集新的数据佐证。层层深入、反复论证,不断提高假设的准确性。

2. 最佳实践的应用与挑战

在应用最佳实践时,要根据自身的独特情况,灵活调整,甚至做一些创新的尝试。

比如前面提到”漏斗步骤越少转化越高”是一条最佳实践,但也要考虑步骤简化后是否影响了信息的完整性。

美国房产网站 Redfin 发现,多步注册流程问了用户很多信息,转化率反而更高,因为用户觉得提供了这么多信息,就能得到更个性化的服务。

这个案例说明了过于迷信最佳实践的风险。最佳实践来源于过去的经验总结,但未来的情况可能发生变化,用户需求可能与以往不同。盲目追求最佳实践,反而可能错失机会。

所以,深入的数据分析和深刻的用户洞察,才是提出高质量假设的核心关键。

五、提升转化率的最佳实践

最后总结一下提升转化率的最佳实践,大概可以分为四个方向:

  1. 提升注意力
  2. 提升用户的动力
  3. 降低用户的阻力
  4. 考虑特殊的场景

各种各样的最佳实践其实都是可以从这四个方向去归类思考。

1. 注意力的提升

提升用户的注意力,可以采取的最佳实践包括:重要信息放在显著位置、加大重点信息的字体、图片吸引眼球、利用留白突出重点等

比如可以把按钮设计得更大更醒目,将折扣信息用更大的字体标出,或者在文案前加上表情符号吸引注意。总之要让用户第一眼就能看到最关键的内容。

2. 用户动力的增强

增强用户的动力,常见的最佳实践有:使用社交证明、制造稀缺感、利用返利或优惠、强调产品价值等

比如在产品评价中展示用户的好评,在锻炼App中展示其他人的锻炼成果;或者显示”限时折扣”、”仅剩3件”等字样;再或者承诺”买二赠一”、”分享立减20元”等。目的都是激发用户的购买欲和行动力。

3. 用户阻力的降低

降低用户的阻力,可以遵循的最佳实践包括:简化流程、减少填写项、提供客服支持、提供退款保证等

比如简化注册流程,只要求用户填写最基本的信息;或者在表单旁提供填写样例,方便用户参考;再或者在结算页提供在线客服,实时解答用户疑虑;以及承诺”7天无理由退换”,让用户放心购买。这些做法都能有效降低用户的心理和操作障碍。

4. 特殊场景的考虑

除了以上三点之外,还要考虑特殊场景下转化的最佳实践。

比如在移动端要考虑手机屏幕的限制,尽量减少输入,放大按钮;在逢年过节时要结合节日氛围,推出应景的活动;面对不同地域的用户,要考虑他们的文化习俗差异;面对老年用户,要使用更大的字号,更简单的语言。总之要根据实际情况,对最佳实践做出调整。

综上,只有真正从用户视角出发,充分挖掘定量和定性数据,并根据自身情况灵活借鉴最佳实践,才能形成高质量的实验假设,产出最符合用户需求、最有益于业务增长的优化方案。

这需要一个不断试错、持续迭代的过程。但长期坚持下去,必将带来转化率和各项关键指标的显著提升,给产品和运营带来长足进步。

本文由 @小黑哥 原创发布于人人都是产品经理,未经许可,禁止转载

题图来自 Unsplash,基于 CC0 协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!