产品测试过程中,T检验的实践运用(一)

3 评论 15333 浏览 45 收藏 13 分钟

大学的统计学知识,你是否还记得?本文作者将用最精炼的语言和简单的案例,让你能够快速将T检验运用到实战当中。因此不用纠结过多的统计学理论而不能自拔,知道怎么运用即可。

作为一个产品经理,在经过一系列坎坷将需求方案落地后,判断方案效果的好坏就是一个非常重要的步骤了,在产品大范围发布前,我们通常要进行小样本量的范围测试;这些测试我们也可以分为线上和线下。实体产品通常会邀请顾客到店体验产品,收集用户反馈;互联网产品大部分公司会设计一个简单的线上测试方案,通过观察用户行为数据来判断方案的效果,在成本允许的情况下,做线下用户测试同样是非常必要的。

那么,对于样本量较低的测试方案,如何判断产品效果的好坏?如果你邀请了10个用户来体验你的产品,10个用户反馈给你的信息都很棒,那么你的产品就一定能满足大部分目标客户的需求吗?在你纠结的时候,不要着急,T检验就可以用来实战了,这种简单而常用的检验方法线上线下两者通吃,本系列将通过三个例子让你完全了解T检验的实战方式。

如果你已经把大学的统计学知识忘记的差不多了,别担心,笔者将用最精炼的语言和简单的案例让你能够快速将T检验运用到实战当中,不用纠结过多的统计学理论而不能自拔,知道怎么运用即可。

你需要了解的2个关键的前置知识点:

  1.  T检验的升级版其实是Z检验,T检验只是Z检验的替代版,但是80%的情况下我们会使用T检验,因为Z检验的使用前提是总体均值已知,但是这个条件在如今情况下几乎是不可能的,(比如全国人民的平均身高,你需要每个人都量一遍吗?)。在总体均值未知,样本量较小的情况下(一般是样本量<30,但这需要根据样本来自的总体大小而定),我们还是使用T检验。
  2. Z检验与T检验方法能够使用的最重要的前提是一个定理→ 中心极限定理:假设我们从一个总体里抽取一定数量的样本,计算此样本的均值,然后重复100次抽取,那么画出这些样本均值的分布将会是正态的。正是因为这个定理,我们的T检验适用于任何总体。

OK,暂且补充这两个知识点,不过已经交代了为何我们能够使用T检验,以及使用T检验的原因,如果一直补充前置知识将会是个无限循环(好比做一个凳子需要木头,要木头需要斧子,要斧子需要铁。。。),如果下面步骤中有未知名词或者未知概念,Google一下即可,接下来我们将具体讲解T检验的运用。

T检验分为三种:单样本T检验,独立样本T检验,相依样本T检验,今天我们将讲解第一个,单样本T检验。

单样本T检验:(One-Sample t-test)

与他的名称一样,单样本T检验就是我们只有一个样本。

假设样本均值为,总体的均值为μ,我们想知道,这个样本来自的总体是否与具有这个均值的总体显著不同?

一般的单样本T检验的步骤如下:

1. 提出问题,设定0假设和对立假设

0假设是指我们假设此样本与总体无显著不同;一般为X = μ

对立假设可以根据实际情况定为三种:

  • 我们假设此样本与总体有显著不同。≠μ
  • 我们假设此样本比总体均值要高。≥μ
  • 我们假设此样本比总体均值要低。<μ

2. 确定样本均值和样本标准偏差

其中为每个样本的值,N为样本数。

不用担心,大部分数据处理工具都能直接算出这个值,(比如excel,python的numpy库中std()函数)

3. 确定均值标准误差SEM

(n为样本个数)

标准误差用来衡量抽样误差,标准误差越小,表明样本统计量与总体参数的值越接近,样本对总体越有代表性,用样本统计量推断总体参数的可靠度越大。

4. 确定95%/99%置信水平下t临界值

至于选择95%还是99%置信水平,需要根据实际情况进行选择,一般来说,数值越大,精度越高,95%已经能满足绝大部分数据要求。对于t临界值的确定,我们需要用到T表格,T表格链接(参考百度文库https://wenku.baidu.com/view/c010cdc22cc58bd63186bd84.html)。

如何使用T表格?我们需要根据自由度与显著性水平两个值进行查询,一般自由度df = n – 1 ,根据第一步设置的对立假设,确定为单尾检验还是双尾检验,然后根据95%/99%置信水平求得显著性水平。

5. 确定t值

t值求解公式:

6. 得出结论

根据求出的t值与t临界值进行对比,根据t值所在区域判断是否拒绝0假设,接受对立假设。

7. 确定Cohen’s d(可选)

Cohen’s d等于(样本均值 – 总体均值)/样本的标准偏差,它反映的是样本均值和总体均值之间存在多少个标准偏差。

8. 确定95%/99%置信区间(可选)

置信区间公式:

置信区间确定了此样本所在的总体均值所在范围。

具体案例

此案例为定性数据定量化的案例之一。

假设我们现在要判断一款产品的用户体验如何,用户体验这个概念比较主观,我们需要将定性的数据进行定量化处理。

我们一般的用户体验分为以下5种:

  1. 感官体验:呈现给用户视听上的体验,强调舒适性。
  2. 交互体验:呈现给用户操作上的体验,强调易用/可用性。
  3. 情感体验:呈现给用户心理上的体验,强调友好性。
  4. 浏览体验:呈现给用户浏览上的体验,强调吸引性。
  5. 信任体验:呈现给用户的信任体验,强调可靠性。

我们针对每一种体验分别给予0-10,10个评分等级,针对每种体验给予自己主观的打分,之后算出五个分数的平均得分。

例如我们的一个目标用户的体验得分如下:

分数段             得分

感官体验          0-10       4

交互体验          0-10       7

浏览体验          0-10       6

情感体验          0-10       7

信任体验          0-10       8

平均得分          6.4

我们邀请28个目标用户,事先与其沟通好每种体验的正确体验方式,得出了28人的体验平均得分样本:

6.2,5.3,8.7,7.4,5.2,6.9,8.3,4.4,7.8,6.5,5.9,5.3,5.4,7.5,7.4,4.3,8.5,6.9,6.4,4.7,8.7,6.4,9.2,6.3,4.7,6.5,5.4,7.1

我们假设用户体验的行业及格平均分的标准为6分。

那么,我们提出的问题是,此产品的用户体验平均得分是否超过行业及格标准分?

1. 提出问题,设定0假设和对立假设

(1)0假设

此产品的用户体验平均得分等于行业及格平均分。

(2)对立假设

此产品的用户体验平均得分大于行业及格平均分。

2. 确定样本的均值和样本标准偏差

根据样本数据我们求得:

3. 确定SEM(均值标准误差)

4. 确定95%的置信水平下t临界值

自由度  

因为我们设置的对立假设为,所以此检验为单尾检验,根据95%置信水平查询T表格得:

t临界 = 1.703

5. 确定t值

6. 得出结论

根据t值与t临界值之间的关系,我们拒绝0假设,我们可以判断此产品的用户体验及格,并且此产品的用户体验平均得分大于行业及格平均分。

7. 确定95%置信区间

根据公式:

我们算出95%置信区间为(6.13,6.96),也就是说此产品如果计算所有用户的用户体验平均得分,那么评分的总体均值大概会落在6.13~6.96之间。

至此我们完成了一个定性数据定量化的简单案例,有了这个数据,我们可以更加直观的对产品的用户体验做出判断,这就是单样本T检验的应用案例之一。

下期我们将会讲解接下来的两种检验方法:独立样本T检验,相依样本T检验。

欢迎拍砖。

 

本文由 @白子 原创发布于人人都是产品经理。未经许可,禁止转载。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 测试用例

    来自河北 回复
  2. 这里我有几个疑惑。。。
    单样本t检验公式,底部为什么不是n-1?
    感觉这里应该进行双尾t检验,表明平均分高是因为总体高而不是个别高分数拉高了总体。。。

    来自广东 回复
  3. 优秀 谢谢

    来自辽宁 回复