假设检验讲人话版

病理医师

一、假设检验的核心思想

用一句话总结一下假设检验的核心思想，就是：
用小概率事件来检验假设，从而决定是否采信该假设。
上面这么说似乎还是有点不明所以。更大白话一点，就是：
如果在你假设的情境下，发生了不太可能发生的事件（小概率事件），那多半是你的假设有问题，也就是说你应该选择不相信你的原假设。
对于上述总结，有以下说明（可以暂时略过这部分，先看第二节引例后，有兴趣再回头看这部分）：
1、假设检验类似于反证法，先提出假设，通过证明是否得出矛盾来确定是否接受假设。
2、对于假设检验中的两个假设，决定接受哪个假设，是由证伪成功与否来决定的，如果证伪成功，则接受备择假设；如果证伪失败则接受原假设。
3、假设检验里的证伪，是概率性的，跟一般意义上证伪有所不同。这里的证伪是指原假设大概率是错的（概率大小跟显著性水平有关）。所以即使最终结论不管是接受原假设还是备择假设，结论都有可能是错误的。这点与反证法有本质的区别。
如上所述，在假设检验里，可能会犯两类错误：
1、拒真错误，也称第一类错误；
2、取伪错误，也称第二类错误。
顾名思义，第一类错误就是原假设是对的，但我们却认为其是错的；第二类错误则是原假设是错的，我们却认为其是对的。在假设检验时，往往通过降低第一类错误的概率来实施假设检验。
二、假设检验引例

在理论推导前。先举个例子说明，帮助大家理解。
某学校校长每个月会随机巡查一次，观察学生的迟到情况。某一次，校长在巡查中，发现了一名学生迟到。该学生辩解说：太倒霉了，我就迟到这一次，就被抓到了。
现在问题来了：如果你是这个校长，你会觉得他是个迟到“惯犯”，还是真的他就是运气不好，迟到一次就被你抓到了？

…………………………………………………………思考两分钟……………………………………………………………

大多数人直觉应该会认为他是个惯犯，因为只迟到一次就被碰到这么“巧合”的事一般不会发生。
上面这个事例说明了一个很重要的概念，就是：概率很小的事件在一次试验中实际上几乎是不发生的。
上述说法被称为实际推断原理。
而假设检验就是利用实际推断原理来判断是否接受原假设。也就是说，如果在你的假设条件下，一个低概率的事件发生了，那你就基本可以断定这个假设不成立，从而转而相信其对立的假设。

为了加深理解，再举个例子，某同学跟你说，他基本能稳上清北。结果你随便看了他两次考试成绩，发现他都没上清北线。
此时你的第一感觉是什么？是不是肯定觉得他在吹牛？
这个直觉其实是很合理的，因为如果他上清北真的十拿九稳的话，那么他大部分成绩理应在清北线以上才对。

上面两个例子用假设检验的理论来描述的话，应该是：
（1）假设该学生很少迟到 ---> （2）按道理迟到正好被撞见的可能性很小 ---> （3）但事实是迟到这件事正好被撞见了 ---> （4）不合理（即小概率事件发生了） ---> （5）有理由相信原假设不对 ---> （6）也就是说该学生应该是经常迟到的
（1）假设该学生说的是真的，他实力很强，上清北十拿九稳 ---> （2）按道理很少有考试成绩应该在清北线以下 ---> （3）但事实是随便看了他两次考试成绩都没上清北线 ---> （4）不合理（小概率事件发生了） ---> （5）有理由相信原假设不对 ---> （6）也就是说该学生的成绩并没有他自己吹的那么强
回到上面的例子，我们可以引出一些概念：
1、上述第1步中的假设，就是假设检验中的“假设”（怎么听着有点别扭？……）。
更具体地说，这个假设是成对出现的，它们被称为原假设 H_{0} 和备择假设 H_{1} 。
在上述例子里，原假设 H_{0} 可以是：他迟到不止1次 & 他成绩可以稳上清北；
相应地，备择假设 H_{1} 就是：他只迟到了1次 & 他成绩不能稳上清北。
具体要怎么去制定原假设和备择假设，有专门的研究，这里不展开讨论。
2、上述第2步中的“可能性小”的事件的集合，被称为“拒绝域”。其意思是，如果你观察到的真实情况如果正好处在这个“可能性小”的事件集合中，那么你就有理由拒绝相信第1步中的原假设。这也是它被称为“拒绝域”的原因。
3、拿上述第3步中的观测结果去与第1、2步中的假设的情况做比对，这就叫“检验（test）”。
类比一下，你看到一堆白色的粉末，你觉得应该是糖而不是其它东西（假设），为了证实你的猜测（假设），你用舌头尝了一下味道发现他是咸的（检验），于是你知道你猜错了（你的假设错了，它不是糖，是其他物质）。
这么一表述，这个“检验”的意思就清晰了吧？
4、校长每月观察一次学生的迟到情况 & 你查看同学的成绩，称为抽样。
5、被观察到学生迟到的这个事实 & 同学被查看到的成绩值（分数），称为样本。
6、这个学生全学年或几个学年的上学迟到的情况 & 同学高中期间所有的考试成绩，称为总体。
明白了上面的根本原理，这篇文章的中心思想就抓住了。至于下面章节里的理论细节其实可看可不看，或者去看教材，会讲得更细致和全面。所以下面的内容大家根据自己情况选择是否要看吧。
三、假设检验的理论推导

上面从直觉和感性的角度让大家对假设检验有了个了初步的了解，下面就来从理论的角度来针对一些常见的问题做一下推导。
先讨论正态总体双边假设检验的情形（也即，对一个符合正态分布的变量做假设检验）
前面已经用人话描述了一遍假设检验，这里再稍微理论点总结下：
设立一个假设，如果在此假设成立前提下，发生了低概率事件（P{某事件发生}<= \alpha ），那就有理由认为该假设不成立。其中，发生低概率事件就相当于事件发生在拒绝域内了。
接下来的就是确定要选取事件，并令其发生概率低于给定的概率（在假设检验里称为“显著性水平”），也就是前面提到的第2步：要在指定的假设前提下，找一个“发生可能性小”的事件集合。
事件的选取原则也可以立一个专题来讨论，但这里不展开了。
先来讨论一个针对正态分布均值的假设：
假设一个总体服从正态分布，我们现在要检验其总体均值 \mu 是否等于某常数 \mu_{0} ，那原假设就可以是：H_{0}：\mu=\mu_{0} ；相对地，备择假设就是：H_{1}：\mu\ne \mu_{0}
基于之前文章中的讨论（区间估计那一篇，传送门：区间估计讲人话版 - 知乎 (zhihu.com)：），我们知道样本均值 \bar{X} 是总体均值 \mu 的无偏估计，因此很容易想到利用样本均值来对总体均值进行检验。
根据正态分布的钟形分布的特点，不难知道，若原假设 H_{0} 成立，则变量观察值落在距离总体均值 \mu 越远的地方，其概率越低。这也是符合直觉的。
因此，可以得出其拒绝域的形式应该是：
                                                P{  \left|  \bar{X} - \mu \right|\geq A } \leq\alpha (A为某正数常数）
又由于总体的分布的参数是未知的（仅知道其是正态分布还不够具体），我们需要找一个与总体有关联且已知的分布。根据之前的结论很容易想到，当总体标准差 \sigma 已知时：
\frac{\bar{X}-\mu_{0}}{\sigma/\sqrt{n}}\sim N(0,1)
因此，拒绝域的形式就可以写成：
                                                P{ \frac{\bar{X}-\mu_{0}}{\sigma/\sqrt{n}}\geq k } \leq\alpha  ( k=\frac{{A}}{\sigma/\sqrt{n}} )
由标准正态分布分位点的定义，可得：
k=Z_{\alpha/2}
代入后可得，若 \bar{X} 的观察值 \bar{x} 处于以下区间，则拒绝原假设 H_{0} ，转而接受备择假设 H_{1} ：
(-\infty, \mu_{0}-\frac{\sigma}{\sqrt{n}}Z_{\alpha/2})\cup(\mu_{0}+\frac{\sigma}{\sqrt{n}}Z_{\alpha/2}, \infty)
若 \bar{X} 的观察值 \bar{x} 处于以下区间，则接受原假设H_{0}：
(\mu_{0}-\frac{\sigma}{\sqrt{n}}Z_{\alpha/2}, \mu_{0}+\frac{\sigma}{\sqrt{n}}Z_{\alpha/2})
书中都用检验统计量来描述（z是检验统计量），分别为：
\left| z \right|=\left| \frac{\bar{x}-\mu_{0}}{\sigma/\sqrt{n}} \right|\geq k=Z_{\alpha/2}
\left| z \right|=\left| \frac{\bar{x}-\mu_{0}}{\sigma/\sqrt{n}} \right|<k=Z_{\alpha/2}
上述检验法称为Z检验法。其中，当检验统计量取某个区域C中的值时，我们拒绝原假设H_{0}，则称区域C为拒绝域，拒绝域的边界点称为临界点。如在上例中拒绝域为 \left| z \right|\geq Z_{\alpha/2} ，而 z = -Z_{\alpha/2} ， z = Z_{\alpha/2} 为临界点。
在日常生产活动中，由于总体的标准差一般是未知的，所以我们可以利用之前讲过的t分布来实施假设检验。当总体标准差 \sigma 未知时，有：
\frac{\bar{X}-\mu}{S/\sqrt{n}}\sim t(n-1)
其拒绝域的推导过程与上述一致，这里不再赘述，直接给出结论：
\left| t \right|=\left| \frac{\bar{x}-\mu}{S/\sqrt{n}} \right|\geq t_{\alpha/2}(n-1)
上述检验法称为t检验法。
也就是说，对于最初的假设，你可以：
抽样得到一组样本值 ---> 算出样本观测值的平均值和样本的方差 ---> 得出检验统计量 ---> 对比检验统计量是否落在拒绝域内（显著性水平由你指定） ---> 决定是否接受原假设
上面讲了服从正态分布的变量的假设检验，对于非正态分布，假设检验的原理也是一样的。这里就不赘述了。
这样一来，你确认你的判断是否准确就更有理论支持了，而不是纯凭直觉。比如对于你同学考清北的言论，你可以通过抽查他的考试成绩，看是否落在你预设的拒绝域内，来判断他有没有吹牛了。

四、实战运用

上面基于正态分布讲了很多参数估计与假设检验的理论，是因为日常生产生活中正态分布是最常见的分布。我们可以利用上面已经讨论过的思想来指导在其他分布函数中的假设检验工作。
举个例子，你要购入一批气球，但气球出厂时就有一定概率是破损的。
现在老板跟你承诺，破损气球的概率在1%以下，请问，至少要检查多少只气球才能检验老板说的话是不是真的？（取显著性水平为5%）
大家先思考下吧，回头有空我再补个答案。

相关文章推荐——区间估计讲人话版：

原文地址：https://zhuanlan.zhihu.com/p/660303792