调查问卷的两个陷阱:诱导性问题和幸存者偏差

从零开始学运营,10年经验运营总监亲授,2天线下集训+1年在线学习,做个有竞争力的运营人。了解详情

我们在测试一个产品的时候,会通过用调查问卷的方式看看用户对产品的喜好程度和看法,但你的调查真的有用吗?你的调查有没有踩坑呢?

收集回来几千份问卷,你有没有想过有可能数据是无效的?访谈了几百位用户,你有没有想过你做的可能是无用功?问题在哪?

你不会问问题!

坑1 你喜不喜欢我们的产品?

当你查看这个问题的数据时,你欣喜地发现99%的用户都选择了“是”,于是你屁颠屁颠地去告诉老板“我们家的产品,用户很喜欢”,并且拿出数据给老板看,老板一开心,砸了几十万广告费,结果打了水漂。

误区1 诱导性问题

人,皆有怜悯之心。当你问出这个问题的时候,其实跟你去跟暗恋的人表白说“你喜不喜欢我”一样,你的潜台词是“我喜欢你,我希望你最好也喜欢我”,你实际上在告诉用户,“我希望你喜欢我,赶紧选喜欢”。用户想,既然你这么恳求,那么用户就会“我稍微勉为其难地看在你面子是给你个好评吧”。

结果会怎样?或者我这么问,两个人勉强在一起能幸福吗?

类似的坑

这个服务1块钱,你能接受吗?我们打算新推出一个功能,你会用吗?

如何破?

其实,你会发现,很多类似的问题的选项都是“非此即彼”,第一个很简单的方法就是:不要使用“是不是”、“喜不喜欢”这种只有“二元选项”的问法。

对于询问用户满意度等较为主观的可以使用“五分法”,即如“很不满意”、“比较不满意”、“一般”、“比较满意”、“很满意”五种选项。当然,你可以选择用1-5分作为替代,也可以使用7分,除了10分,不建议使用多于7分的选项,用户有选择困难症的。

对于询问用户对价格的接受度,请使用PSM价格敏感度的模型。PSM模型下,问题是这样问的:

(实例 调研知识音频专栏价格敏感度)

问的是用户对各个价格区间的接受度,通常我们只会设置价格敏感相关的4个选项,“太便宜”、“比较便宜”、“有点贵”、“太贵”。特别说明:上图我是增加了一个中间选项“刚好”,实际上这个选项在统计中没有什么作用,纯粹是站在用户视角考虑用户习惯思维增加的选项。

然后根据各选项的数据可以绘出PSM模型的曲线图:

(实例 调研知识音频专栏价格敏感度)

  • P1:是用户可接受价格的最低值,“有点贵”和“太便宜”的交点;
  • P3:是用户可接受价格的最高值,“太贵”和“比较便宜”的交点;
  • P2:是最佳价格,用户觉得不会太贵也不会太便宜,“太贵”和“太便宜”的交点。

另外,除了用PSM模型曲线图,也可以用百分百堆栈图,这个比较直观,可以看出最佳的价格区间是哪个。我的判断参考数据是:选择“比较便宜”和“有点贵”的比例超过80%的价格区间,即为最佳区间。(下图还要加上“刚好”的比例)

(实例 调研知识音频专栏价格敏感度)

坑2 你花在我们产品上的时间有多少?

问卷收集完后,你查看了下用户回馈的数据,你发现用户还挺活跃的。但是,一查看后台数据对比,怎么活跃才这么低,不科学呀!

误区2 幸存者偏差

有个故事,美国空军发现能飞回来的战斗机中,机翼的弹孔比机身的多,那么升级设备加强防弹效果的时候,应该着重机翼还是机身?按照数据来看,机翼比机身的弹孔多,应该着重升级机翼。但是,事实是,应该着重机身。因为机身中弹多的都毁在现场飞不回来了,机翼中弹还能安全飞回来。

把问卷投放在自家产品上,愿意给你填问卷的其实大部分已经是活跃用户,沉默用户不使用你的产品更不会给你填问卷。所以说,给你找茬的用户都是真爱。

如何破?

其实方法前面也提到过,就是看后台数据,用户的行为比他说的更真实。如果后台埋点还没埋得到你想的数据,那怎么办?

分为事前和事后,两个应对方法。

  • 事前,根据用户类型进行配比,进行定向随机投放,按比例收集问卷。
  • 事后,根据用户类型的比例进行权重配比。比如:用户A和B分别占比30%和70%,根据收集回来的问卷按照用户类型分类统计数据,最后乘以权重配比,得出最后的数据。

以上是两个具体的例子。

总的来说

在做问卷的时候,需要警惕以下的问题:

  • 用户通常言行不一。用户给你的答案不一定是正确的,用户在实际场景中的选择,可能和他选择的选项大相径庭。可以了解下索尼游戏机黑黄色偏好调研的案例。
  • 用户的是摇摆不定的。当用户面对抽象性问题或他没有面对过的问题时,他会给出倾向问卷设计者预设立场的答案。尽量用事物或场景触发用户的无意识行为,或说出代入场景的真实体验。
  • 能触达用户群体是与全体用户有偏差的。预防样本少、非随机调研的情况出现,不然会出现以偏概全的结果。反例比如:只选择本地区用户、优先联系有留联系方式的用户。

设计问卷中,除了问卷调研的目的,更多地是要思考问卷本身(含问题设计、文案、排版)对用户的影响,尽量还原用户的行为和思考,剔除其他影响,这需要关注问卷中很多的细节。

最后的建议是——多踩坑。

 

作者:湘尘,微信公众号:尘言运营(ID:Operator-Chen)。在全栈运营路上狂奔中的1岁半运营喵,喜欢运营、用研、营销,欢迎交流勾搭~

本文由 @湘尘 原创发布于人人都是产品经理。未经许可,禁止转载

题图来自 Pexels ,基于 CC0 协议

给作者打赏,鼓励TA抓紧创作!
4人打赏
评论
欢迎留言讨论~!