定量研究:需要测试多少用户?

数据分析如何避免沦为形式?15天在线学习get一套可落地的数据分析方法,了解一下 >>

在收集可用性指标问题时,20 个用户的测试通常会提供相当可靠的置信区间。

我们可以根据质量指标定义可用性,例如学习时间、使用效率、可记忆性,用户错误和主观满意度等。可悲的是,因为这么做费用很高,很少有项目收集以上这些指标:收集这些指标需要测试的用户数是简单测试的 4 倍。

由于用户性能存在巨大的个体差异,因此需要测试许多用户。当你衡量人时,你总会得到一些非常快速的人和一些非常缓慢的人。鉴于此,你需要在相当多的观测值上对这些度量取均值,以平滑度量的可变性。

一、Web 可用性数据的标准偏差

从以前的分析中我们了解到,网站等产品上的用户表现遵循正态分布。这是值得高兴的,因为正态分布在统计上很容易处理。通过这两个数字——平均值和标准偏差——你就可以绘制表示数据的钟形曲线(正态分布曲线)。

我分析了 1520 个用户任务时间度量,它们来自 70 个官网和内联网相关的任务测试。在这些研究中,标准差为平均值的 52%。例如,如果某个人物的完成平均时间是 10 分钟,那么该指标的标准偏差为 5.2 分钟。

二、去除异常值

为了计算标准偏差,我首先删除了过慢用户的异常值。这是合理的吗?在某些方面,不是的:慢用户是真实存在,并且在评估设计质量时应该加以考虑的。因此,即使我建议从统计分析中删除异常值,你也不应该忽略它们。对异常值的测试会话进行定性分析,并找出降低性能的“坏运气”(例如:糟糕的设计)。

然而,对于大多数统计分析,都应该消除异常值。因为它们是随机发生的,所以在一项研究中可能会有更多的异常值,这些极端值会严重影响平均值和其他结论。

计算统计数据的唯一理由是将它们与其他统计数据进行比较。假设任务时间均值为 10 分钟,但 10 分钟好还是坏?你无法判断,因为这个数据是孤零零存在的,没有和其他数据进行比较。

如果要求用户订阅电子邮件,10 分钟的平均任务时间将会非常糟糕。从许多新闻订阅流程相关的研究中得知,其他网站的平均任务时间为 1 分钟,用户只需要不到 2 分钟就能满意。另一方面,10 分钟就表示用于更复杂任务的可用性非常高,例如申请抵押贷款。

关键在于收集可用性度量标准,将它们与其他可用性度量标准比较,例如将你的网站与竞争对手的网站进行比较,或将你新的设计与旧网站进行比较。

当从两个统计数据中消除异常值后,仍然会有有效的比较。如果留有异常值,两种情况下的平均任务时间都会显得高一些。但如果没有异常值,你更可能得出正确的结论,因为你不太可能高估平均值,而这个平均值恰好有更多的异常值。

三、估算误差的余量

当将来自正态分布的多个观测数据进行平均时,平均值的标准偏差(SD)是各个数值的 SD 除以观测数量的平方根。例如,如果有 10 个观察值,则平均值的 SD 为原始标准差的 1 / sqrt(10)= 0.316 倍。

我们知道,对于企业官网和内部网的用户测试,SD 是平均值的 52%。换句话说,如果测试了 10 个用户,那么平均值的 SD 将是平均值的 16%,因为 0.316 x 0.52 = 0.16。

假设我们正在测试需要 5 分钟才能完成的任务。那么,平均值的 SD 是 300 秒的 16% = 48 秒。对于正态分布,2/3 的例子与平均值相差 +/- 1 SD。因此,我们的平均水平将在 48 秒之内。

下图显示了测试不同用户数量时的误差幅度,假设需要 90% 的置信区间(蓝色曲线)。这意味着 90% 的可能性在此区间,5% 过低,5% 过高。对于实际的项目,确实不需要做得比这个更精准。

红色曲线显示了如果放宽要求到一半的时候会发生什么。(这意味着我们会在 1/4 时间内过低,而在 1/4 时间内过高。)

不同数量用户与误差范围大小

四、确定用户数量

在图表中,误差范围表示为可用性度量标准平均值的百分比。例如,如果测试 10 个用户,则误差范围则是平均值的 +/27%。这就是说如果平均任务时间是 300 秒(5 分钟),那么误差范围是 +/-81 秒。因此,置信区间就从 219 秒变为 381 秒:90%的可能性在此区间内; 5% 的低于 219,5% 的高于 381。

这是一个相当宽松的置信区间,同时,这也是为什么我建议在收集量化可用性指标时用 20 个用户进行测试的原因。对于 20 个用户,可能会有1个异常值(因为 6% 的用户是异常值),将平均覆盖 19 个用户数据。这使得置信区间从 243 变为 357 秒,因为测试 19 位用户的误差范围是 +/-19%。

你可能觉得这仍然是一个很宽松的置信区间,但事实上,要进一步收紧这个置信区间需要付出高昂的代价。要获得 +/-10% 的误差范围,需要 71 个用户数据,也就是说你必须测试 76 人来考虑 5 个可能的异常值。

从实际项目来看,测试 76 个用户是完全没必要的。每个设计测试 20 个用户,就可以获得 4 种不同设计的足够好的数据,而不仅是为了更好的指标,将预算用户单个设计测试。

实际上,对于大多数情况来说,+/-19% 的置信区间就足够了。主要是,要比较两种设计,看哪一种更好。毕竟,网站之间的平均差异是 68% ——这远高于误差范围。

另外,请记住 +/-19% 几乎是最坏的情况;90% 的机会你会做得更好。红色曲线显示,如果使用 20 个用户进行测试并分析 19 个数据,则​​其中一半可能性在平均值的 +/-8% 范围内。换句话说,一半的可能性获得了较好的精准度,另一半获得十分高的精准度。这就是非学术项目所需要的。

五、定量与定性

基于以上分析,我建议在做 20 个用户的定量研究测试。这非常贵,因为很难找到符合目标用户群的测试用户。

幸运的是,你不必衡量可用性从而改进它。通常,只需少量用户就可以进行测试,并根据对其行为的定性分析所发现的问题来修改设计。当你看到有几个人被同样的问题所困扰时,你并不需要了解用户被影响到了什么程度。如果它正在(或者已经)伤害了用户,那就有必要调整或者改进的必要。

通常可以对 5 个用户进行定性研究,不过定量研究的费用大致为定性的 4 倍。此外,定量研究很容易出错并产生误导性数据。当你收集数据而不是见解时,一切都必须十分精确,否则就做不好定量研究。

由于价格昂贵且难以正确运用,通常会特别谨慎的使用定量研究。我十分建议,你做的前几个可用性研究最好是定性的。只有经常做可用性研究,并且将研究结果与实际结合运用并取得实质性的进展后,才能开始在研究中使用一些定量研究。

#专栏作家#

郑几块,人人都是产品经理专栏作家,前新浪微博产品经理。

本文系作者@郑几块 独家翻译授权,未经本站许可,不得转载

题图来自 Pexels,基于 CC0 协议

给作者打赏,鼓励TA抓紧创作!
5人打赏
评论
欢迎留言讨论~!
  1. 挺复杂的 :arrow:

    回复