如何设计问卷,才能收集到高质量的数据?

0 评论 24084 浏览 107 收藏 13 分钟

问卷调查对问卷设计的要求很高,数据质量很大部分依赖于此。

问卷的质量会直接影响到收集到的数据的质量。在面对问卷设计的时候,我们往往过于轻敌,自以为已经做得很好,其实一些基本原则和注意事项很容易被忽视。

问卷调查的好处在于,我们能够通过来自大样本的结构化数据,对事实作出精准的描述和推断,这是定性研究所难以做到的。

但是,一个问卷调查,如果对错误的用户提了错误的问题,收到的数据将无法反应实际情况。更可怕的是,如果我们对此一无所知,轻信问卷数据的质量,就会得出具有误导性的结论。

问卷调查还有另一个风险,就是我们往往依赖问卷填写者的自我报告,他们填写的答案往往会受到自身的一些认知局限的影响,未必能反映客观事实,这也是我们在设计问卷的过程中需要尽量避免的。

问卷测得的数据与实际情况之间存在的偏差,主要受到以下因素的影响:

(1)人

  • 人的回忆是不准确的:相比于自己做过某事,人们很容易忘记自己没有做过某事;人们很难记起往事发生的确切时间;人们很难记起大多数经历的细节。
  • 人在回答问题的时候可能会受到社会期许效应的影响。人们了解社会对人的行为有一定的期待,也担心自己的某些真实情况不被他人认可。因此他们倾向于根据社会的期许来调整自己的答案。
  • 人们总是倾向于给出答案,即使自己并不清楚。
  • 人们报告的往往是他们对事情的理解,未必与客观事实一致。

(2)问卷

问题的措辞、选项的措辞、选项的顺序和前后文语境都会影响用户对问题的理解,从而也就影响了用户的回答。

那么,对于问卷设计来说,好问题的标准是什么

好问题首先要有明确的测量目标,也就是问题实际上要测量的事件是什么;其次,对于这个测量目标,好问题能够有较高的信效度,也就是能够达到稳定而准确。

信效度图解

要尽量减少测量的偏差,有几个基本条件:

  1. 要让用户,并且是所有的用户都能够以与你相同的方式理解问题。需要检视问题中的每一个概念,确保没有歧义。比如,“运动”是否包含“散步”?“月收入”是指税前还是税后、是否包含投资理财等其他收益?
  2. 确保用户能够回答你的问题。用户可能因为不知道相关信息(“你上周通过运动消耗了多少卡路里?”)、无法准确回忆起相关信息(“你上个月有几天没吃早餐?”)等原因而无法回答。
  3. 确保用户愿意回答你的问题。如果用户不愿意回答,他们可能随便选择一个答案来应付。如果涉及到比较敏感的问题,让用户知道为什么你要问这个问题,并且让他相信你会对此保密。
  4. 确保每个用户都能找到适合自己实际情况的选项,并且避免诱导他们做出不符合实际情况的选择。

研究设计

在开始动手编制问卷之前,我们需要先搞清楚一些更核心的问题。

目标调查对象是谁?

我们需要对目标群体有一定的了解,包括他们掌握的相关信息、习惯使用的术语等,才能够提出合适的问题。

研究目的是什么?

我们做的研究可能有需求方,了解清楚他们的期望。尝试用一句话描述本次调研的目的,这考验的是我们对研究关注的核心问题以及研究的根本价值的了解。

目的→假设→变量→问题

从根本目的出发,我们可以衍生出一些具体假设。如果条件允许,可以先对目标群体做个访谈,帮助我们拓展思路和形成假设。每一个具体的假设都揭示了我们应该测量哪些变量,而每个变量可能需要用多个问题去测量。“目的→假设→变量→问题”这个架构树帮助我们紧贴研究目标去思考应该提出哪些问题。

目的-假设-变量-问题

也可以通过让团队成员头脑风暴的方式来收集团队想要了解的问题(不需要写出规范的问卷题目)。但是需要注意的是,每一个问题都需要有存在的理由,即它对研究目标的贡献是什么。最终留下的问题数量尽量不要太多。30个题目的问卷大概就需要用户花费20分钟去填写,如果超过20分钟,问卷的回应率和答题质量都会有所下降。

问题设计

我们已经列出了为了达到研究目的,我们需要知道的问题的清单。下一步是好好设计这些问题的措辞,以避免不必要的测量误差,提高测量的准确度。

下面是一些通用法则:

让用户预测自己的行为往往不准确,直接问他们过去的行为可能更好。用户在预测自己行为方面往往做得不太好,如果你问他们是否会使用某个产品或者服务,他们很可能会说“会”,但是这并不可信。直接问行为,用用户过去的行为去预测他未来的行为更加可靠。

避免问否定性的问题,填写者可能会少看了“不”字。比如,当你的问题是“下列哪些因素对你来说最不重要?”时,用户可能因为粗心而看成“下列哪些因素对你来说最重要?”

推测原因、提供解决方案对用户来说都较难回答,尽量不让用户回答这些问题。“你是否曾经因为找不到某个功能而放弃使用A网站?”用户也许记得放弃使用A网站的经历,但他们未必能够意识到放弃使用的原因。

不要一次问多件事。“在购买纸质图书或电子图书时,你最看重哪些因素?”这样的问题会让用户产生困惑,究竟要回答前者还是后者,尤其是两者对应的答案不一致时。对研究员来说,这种问题的答案也很难分析,无法清晰地界定用户的选择代表的具体意义。

避免在问题中隐含假设。“你最喜欢A网站的什么?”这个问题假设了用户对网站的某些部分存在好感,但是这个假设未必成立。

不要问极端的问题。“你每次上网都浏览新闻吗?”由于极端问题出现的概率较低,对于这种问题大多数的用户会回答“否”。这样获得的数据没有太大价值。直接询问频率可以获得更加具体的信息。

明确你感兴趣的时间期限。“你购买化妆品的频率是?”用户可能会根据最近一个月、最近半年或者最近一年的情况来作答,真正糟糕的是不同的用户可能会选择不同的时间期限。因此说明你希望用户根据哪段时间的情况做判断会更好。

选项设计

选项要对称

选项的正向和反向形容需要有相同的粒度和强度。如下图的选项不正确地给了负向情绪以更高的强度。

选项不对称

保证所有用户都有合适的选项

最好穷尽所有可能,如果无法做到,也可以提供一个“其他”选项给那些没有被覆盖到的用户。即使是李克特量表,有时也需要加入一个“不适用”选项,避免强迫用户选择。

应该提供一个“其他”选项

选项要很具体

不要有含糊不清的表述,能够用数字表达的尽量不用“很少”“经常”这类表述。

选项要互斥

如果是单选题,一个用户不能够既符合A选项,又符合B选项。如下图,“情有可原”表示“不该,但是可以理解”,那么持这种观点的用户应该选择“不该”还是“情有可原”?

选项不互斥

选项的顺序要一致

比如1永远是最不同意,5永远是最同意(或者相反)。如果一份问卷中选项的方向发生改变,用户可能没有注意到或者习惯性按照原来的方向进行选择。

如果答案没有逻辑顺序,尽量做到随机排列

顺序可能会影响用户的选择,我们通过随机的方式来降低这种影响。

选项的含义要清晰

“我经常做有氧运动。——同意、不同意”当用户选择不同意的时候,表示的是自己做有氧运动的频率低于“经常”,还是高于“经常”?

顺便说说访谈

访谈和问卷调查类似,都是向用户提问题。它们之间最大的不同是,问卷调查得到的答案是封闭式的、结构化的,而访谈得到的回答是开放式的、难以预期的。

访谈和问卷遵循一些相同的提问原则,比如不要带有引导性,要尽量消除社会期许的影响,尽量询问事实而非让用户预测等。

但是访谈是人跟人的对话,而不是人跟问题的对话。所以访谈员未必跟着设计好的提纲走。如果被访者对问题存在疑问或者误解,访谈员有机会去发现并进行解释;访谈员还可以针对被访者的回答进行追问,以便对问题有更深入的了解。

问卷调查对问卷设计的要求很高,数据质量很大部分依赖于此。但是访谈除了遵循一些和问卷设计一样的规则之外,更多地依赖于访谈员的访谈技巧和现场发挥。

 

本文由 @cyan_zheng 原创发布于人人都是产品经理。未经许可,禁止转载。

题图来自 Pixabay,基于 CC0 协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!