用户增长实验三部曲(1):生活中需要实验思维

3 评论 11571 浏览 23 收藏 13 分钟

笔者将用“用户增长实验三部曲”来介绍实验思维、实验如何用来归因、以及准确量化结果。生活中,我们经常可以看到归因错误的例子。那我们就可以用实验思维来归因验证以及评估增量,而不是让实验思维局限于科研、医学和用户增长工作。

01 两类归因错误的例子

1. 错把相关当因果

假设A和B两件事情,简单说因果性就是指原因A造成了结果B,A导致了B;而相关性指A的发生伴随着B的发生,A和B很可能没有直接联系。因果性和相关性的混淆充满了我们的日常生活,很多时候我们误把相关性当成因果性,去做错误的归因。

例子很多,简单举一类例子如下:

  • 经常喝红酒有助于身体健康
  • 从小学习弹钢琴的孩子学习成绩比不学的人要好
  • 经常喝咖啡的人更容易得心脑血管疾病

这里例子都呈现出一些相关性,并且如果需要一定能够给出详实的数据支持,但是结论却不一定成立。

稍微仔细推敲我们能够发现,喝红酒的人健康,是因为喝红酒,还是因为喝红酒的人群,有着相对好的生活环境和医疗条件?

类似的,从小学习钢琴的小孩,他们的家庭条件、对教育的投入程度是不是会更好?

而苦逼的经常喝咖啡的是加班族、熬夜党,他们得心脑血管疾病的概率是不是要高于常人?

所以,面对这些信息时,不能简单的拿相关当因果,应该需要更进一步、更严谨的研究,而实验是最好的方法

2. 结论先行造因果

结论先行很常见,有了结论各种找理由和数据去支撑去这个结论。心理学中的“禀赋效应”,解释了这种现象。多数人会觉得自己的东西就是好的,自己的行为总能带来积极影响。

比如买股票,一顿操作之后(指卖了一些又买了一些)发现自己挣钱了,但是操作后挣钱了,有两个可能性:

  • 大盘涨了,你只是随大盘涨实际并没有增益;
  • 确实是操作带来了增益。可以假设回到没有操作,简单按照操作前的持仓情况计算当前的收益,就知道答案了。

又比如,微信这样的超级App,每个版本都要上线很多个优化点,假设上线后发现朋友圈的用户活跃度提升了。

那么问题来了,究竟是哪个优化点带来了这个提升呢

这个很难说清楚,以至于大家在总结工作的时候,都会或多或少的把增长归因到自己那个优化点,用新版本上线后与上线前的活跃数据来简单比较。这里最明显的漏洞有两个:

1)把活跃度提升和具体某个优化点建立关联,最多就是相关性,而不是因果性。除非你这个优化点带来了压倒性的变化,无可置疑的拉动整体活跃,比如前段时间的朋友圈支持发表情~

2)用新版本上线后比上线前,忽略了活跃度随时间波动的影响:有可能上线后这段时间因为某些热点事件爆发,大家纷纷转发刷屏带来了提升。

再比如,这篇文章的分享和在看比之前要多了,甚至还有打赏,我可能会觉得是我写的比之前的更好了……但其实不一定呀~~

02 两个正确归因的例子

1. 医学中的双盲实验

双盲实验应用在医学上,全称是随机双盲对照实验。

首先是把若干被试者随机分成实验组和对照组,然后进行不同的治疗方案,以此验证药物或者疗法是否有用,或者是否有副作用。

“双盲”的具体解释,可以参阅下方:

双盲实验是一种严格的实验方法,实验者和参与者都不知道哪些参与者属于对照组(control group)、哪些属于实验组(experimental group)。只有在所有数据被记录完毕之后(在有些情况下是分析完毕之后),实验者才能知道那些参与者是哪些组的。

采用双盲实验是为了要减少偏见(prejudices)和无意识地暗示(unintentional physical cues)对实验结果的影响。对于被试者的随机分配(Random assignment)到对照组或者实验组的做法是双盲实验中至关重要的一步。确认哪些受试者属于那些组的信息交由第三方保管,并且在研究结束之前不能告知研究者。

——百度百科

更加生动的版本,可以在读完本文后,到bilibili去看下李永乐老师的视频:

通过双盲实验,甚至是更严谨的三盲实验(即受试对象、研究人员和实验分析人员均不知道受试对象的分组和处理情况),历时很久,才可以得到严谨的结论。

题外话,所以西药的研发和实验成本相当高,价格也相对高一些。

2. 经济学中的实验方法

2019年的诺贝尔经济学奖授予了麻省理工和哈佛大学的三位经济学家,他们主要的贡献是长期以来在发展中国家使用随机对照实验的方法,验证了增加教育投入、提升医疗水平对于经济增长的核心作用。

获奖者是来自麻省理工的夫妇Abhijit Banerjee和Esther Duflo以及哈佛大学的Michael Kremer

官方颁奖词是:

“表彰其在全球扶贫问题上使用的实验型方法(for their experimental approach to all eviating global poverty)”

列举一些他们的实验内容,可以感受下实验可以解答哪些我们的生活中的疑问:

  • 健康:社区医疗能改善居民的健康水平吗?(针对非洲乌干达8100个农村家庭的研究)
  • 金融:加大小微贷款的额度能促进经济发展吗?(针对埃及1000名借款人的研究)
  • 教育:高科技教育工具能提高学生的成绩吗?(针对印度619名中学生的研究)

这些问题,答案看似都是“当然能啊!”,通常我们都不会去质疑。随着近几十年来因果关系成为经济研究领域的核心问题,经济学家普遍转向了证实性数据分析,而随机对照实验方法方法的应用,帮助人们找到了探索这些因果关系的有力武器。

03 生活中需要实验思维

上面说到的实验,都费时费力成本极高。也许你会说,生活中很难去做理想的随机对照实验,那实验对我们有什么用?

确实很难,很多时候我们没有实验组和对照组,没有实验条件,即使有也不愿意花费长时间去做观测。然而,基本的归因逻辑和实验思维是应该要具备的,这样才能知道哪些事情做的有效,哪些无效,或者至少可以识破假象,跳出骗局。

我把实验思维,理解成一种面对结论尽可能寻求有力证据的批判性思维,它的黄金法则是通过实验方法来验证。那么实验思维具体怎么应用?

1. 首先是要怀疑

信息爆炸谣言满天飞,需要怀疑这些结论是否经过实验验证。怀疑不等于抬杠说“任何未经实验验证的结果都不可信”,而是说的我们需要拒绝无脑接受,并且通过基本的原理和逻辑来分析。

2. 然后是尝试验证

比怀疑更可贵的是真正动手去设计实验,这里并不局限在随机对照实验,包含生活中一些谣言的验证。这里实验的目标是验证真伪,千万别忘了我们中学学的淀粉遇碘变蓝,是不是真的这样,走个实验啊~

比如说抖音、快手中经常有些生活小妙招:白醋+苏打+洗衣液几乎可以清洁万物;XX不粘锅可以不用油煎鸡蛋。这些视频不乏点赞百万+,视频下面的白醋苏打XX锅也是卖得很好。实际上,验证真伪的成本很低,更多是人愿意相信,极少有人站出来做简单验证。

所以我认为,实验思维存在门槛,门槛的根源,一是缺少怀疑精神,二是不愿尝试验证。如《人类简史》中说,人具有八卦的本能和传播的意愿,道听途说、被动接受和从众会更加安全、舒适和自然。

3. 最后准确归因和量化

假设我们在生活中、工作中有必要、且有足够的成本来设计一些随机对照实验,怎么来设计实验,用什么样的方法来做分析?

首先设计的思路要对,简单说可以概括为:”为了验证A对B是否有影响,需要把有无A当成实验变量,需要有两组可比的实验样本,一组是A,一组是A+B”。

思路很简单,这里的A和B可以替换成任何你想验证的事物。比如我们做番茄炒蛋时,番茄需要事先焯水吗?大可试试看在其他条件一样的情况下,一次焯水一次直接炒。再详细点,焯水多久,1分钟还是3分钟好吃,试一下?

准确归因相对清晰,而准确量化的最最最核心就是实验组和对照组需要有可比性,道理虽然简单,但是有很多坑,我们在实验三部曲的篇2详细介绍。然后的核心问题是需要看准增量,具体涉及到一些统计学知识、实验具体下发时的潜在风险,以及和实验目标高度匹配的分析方法,我们在三部曲的篇3详细介绍。

尾巴

实验思维以及方法在生活中、工作中都很重要。实验三部曲,我们先说实验思维,再谈如何应用在产品经理、产品运营的工作中,如何准确量化一个功能或一次运营策略的贡献,如何正确分析一个增长实验的效果。更进一步,我们还会介绍增长实验中常见的一些分析难点。

感谢支持,如有不当还请指出。

 

作者:jinlei886;5年+用户增长的一手经验,前腾讯、滴滴出行用户增长产品经理,专注增长策略挖掘、增长工具搭建、实验设计分析。浙江大学工学学士、理学博士。公众号:用户增长实战笔记(ID:ugnote)

本文由 @jinlei886 原创发布于人人都是产品经理。未经许可,禁止转载

题图来自Unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 可以转载你的文章不

    来自浙江 回复
  2. 讲了实验的重要性,作者还没提增长实验的事情呢呀,在后面吗

    回复
    1. 在后面 哈哈稍等

      回复