概率论（六）：数理统计基础

什么是数理统计

当我们用观测或者试验的方式去研究一个问题的时候, 我们可以得到一些数据. 自然地, 我们要用这些数据对原问题进行分析, 借助某种方法对这个问题做出一些尽可能正确的推断.

数理统计就是这样一门学科, 它使用概率论和数学的方法, 研究怎样收集¹带有随机误差的数据, 并在设定的模型²之下对这种数据进行分析³, 从而对所研究的问题进行推断⁴.

基础概念

总体: 与所研究的问题有关的对象/个体的全体所构成的集合. 有时候我们只关注对象的某个数据, 比如学生的学习成绩等, 那么可以仅仅把所有对象的相关数据作为总体而略去对象的其他无关特征. 给总体中的数赋予一个分布, 比如学习成绩可以假定为正态分布, 那么这总体就称为统计总体. 总体就是一个概率分布. 总体分为参数总体和非参数总体, 参数总体的分布可以借若干未知参数表达出来, 非参数总体则不能.

样本: 按一定规定从总体中抽出的一部分个体. 在具体问题中, 样本是具体的数据; 而在理论研究中, 样本则视作一个多维随机变量 且每个 都应与总体具有相同的分布, 因为我们希望 "管中窥豹", 借助样本分析总体的性质, 就应该让样本具有代表性. 有放回抽取的样本是相互独立同分布的; 无放回抽取在总体数视作无限多个时也可以看作是相互独立同分布的, 而对于数量有限的总体, 有放回抽取对后续的抽取有影响, 它们并不是同分布的, 但是若总体数量充分大, 这些分布之间的差异可以忽略不计, 也可以近似认为样本是相互独立同分布的. 我们只关注相互独立同分布的情况.

样本容量: 样本中个体的个数.

样本观测值: 样本是随机变量, 实施抽样后会得到一些具体数值 这称作样本观测值.

统计量

获取样本后通常要对得到的信息进行加工和整理, 便于描述总体的分布特征. 加工整理的结果通常为样本的函数, 称为统计量. 也就是说统计量是 的函数且不含其他未知的参数. 比较重要的统计量包括:

• 样本均值: 用于描述样本分布的中心.

• 样本方差: 用于描述样本的散布程度.

• 阶原点矩:

• 阶中心矩:

REMARK: 样本矩与理论矩. 随机变量中矩的定义为: 设 为随机变量, 若 则称 为 的 阶原点矩, 为 的 阶绝对原点矩. 若又有 则称 为 的 阶中心矩, 为 的 阶绝对中心矩. 可以发现

矩是随机变量更一般的数字特征. 样本矩可以看作经验分布的矩.

数理统计三大分布

分布

称 服从自由度为 的 分布.

若 则

定理1 分布构造定理 设 相互独立且都服从标准正态分布, 则 即 服从自由度为 的 分布.

注意到 时是参数为 的指数分布.

性质1

PROOF 首先 根据 分布构造定理直接取期望便得 而 于是

性质2 较大时, 其中 满足

PROOF 采用中心极限定理即可, 较大时 近似服从 再根据上侧分位数的定义计算即可.

性质3 分布具有可加性: 若 相互独立且 则

分布

若 则 的概率密度为 定理3 分布构造定理 设随机变量 相互独立, 则 服从自由度为 的 分布.

时可近似认为

分布

定理4 分布构造定理 设随机变量 相互独立, 则 服从自由度为 的 分布(第一自由度和第二自由度).

性质:

• 则

• 则

抽样分布定理

定理5 (抽样分布定理) 设 是正态总体 的样本, 和 分别是样本均值和样本方差, 则

1: 与 相互独立;

2:

3:

4:

PROOF

1, 3 的证明有空再学.

2借助正态分布的可加性. 4借助结论1,2,3以及 分布构造定理可以直接导出.

根据抽样分布定理可以导出下面的结果:

定理6 设正态总体 相互独立, 样本为 样本均值和方差 样本为 样本均值与方差为 则

1:

2: 当 时, 其中

证明比较简单, 根据正态分布, 分布的可加性和抽样分布定理就可.

概率论(七)：参数估计

参数估计是在做这样一件事: 已知从总体中抽出的样本 它们的概率密度函数为 其中 为参数, 某些值是未知的, 即已经知道其分布类型但不知其具体分布, 现在想通过这些样本对这些参数中的未知量进行估计(直接求出来当然是不可能的), 这就是参数估计.

点估计

矩估计法

矩估计法用到了一类重要的统计量: 样本矩. 它与随机变量的矩 的定义很相似. 设 为样本, 则 称为 阶样本原点矩. 实际上就是样本均值, 它是最重要的样本原点矩. 称为 阶样本中心矩. 注意到

有的教材会用小写字母

矩估计法做法如下: 设总体 的分布为 为参数, 根据总体原点矩的定义: 即总体 阶原点矩为 的函数. 然后用样本 阶原点矩 去近似 可以得到方程组: 需要计算 个矩, 保证有 个方程, 能解出每个参数. 由于 是 的函数, 于是解上述方程后得到的 的每一维都是 的函数:

举个例子: 设总体 的参数为期望和方差 (未知), 用矩估计法估计参数.

SOL 这里均用原点矩来估计. 首先 得 上面根据最初的方程组解出参数的步骤也可以放在最后一步. 用样本矩进行估计可得: 且注意到 这里 因此

很容易发现矩估计法得到的方差的估计并不等于样本方差, 而是差了一个倍数. 但我们一般使用样本方差 来估计总体方差, 即在中心矩的基础上做了一点修正, 这修正的原因在后面会解释.

再举一个例子引出另一个问题: 设总体 的分布是泊松分布, 参数 未知, 用矩估计法估计

SOL 这里需要注意的问题是, 总体的期望和方差分别是 这样我们实际上有两种方式估计 即 或者 那么这两种哪种估计的效果会好一些呢? 这就需要后面的点估计的优良性准则来决定.

REMARK: 矩估计法中, 常用的是一阶原点矩和二阶中心矩, 更高阶的矩用的比较少.

均匀分布参数的估计结论:

极大似然估计(MLE)

设总体 的概率密度函数为 设 为从总体抽出的一组样本, 样本的概率密度函数为 记作 现在想利用 确定 设样本 的相应的样本观测值为 那么 实际上表示抽取样本 后样本观测值为 的概率, 这是一个确定的事件的概率, 它被称为"似然函数". 对于两组确定的参数 倘若 那么我们可以认为参数估计值取 时, 抽取样本 得到观测值 的概率要大于参数估计值取 时相应的概率, 因此也就有理由认为 比 作为参数 的估计量更为恰当, 据此思想, 概率取得最大值时的 最适合作为参数的估计量, 于是 应该满足: 其中 是样本 的观测值, 在这里认为是已知的量. 这样计算得到的 是 的函数 称为极大似然估计值, 将 替换为 即可得到 称为极大似然估计量. 上述过程总结成一句话就是: 当从总体中抽出一组样本后且已知其观测值 时 , 参数的最佳估计应该使观察到样本观测值的概率最大.

这里实际上很像 Bayes 公式的推理, 即根据已经发生的结果推测导致该结果发生的最可能的原因. 在这里, 参数可看作是导致事件 发生的原因, 上述过程就是执果溯因的做法.

由于 是若干个概率密度的乘积, 求导较为麻烦, 可考虑对数, 置 解出驻点 后, 借助黑塞矩阵验证是否为极大值, 再判断是否为最大值. 如果 不可导, 则可以考虑直接用定义找到极值点,

平常碰到的题求出来的都是最大值吧（

举两个机器学习中极大似然估计的例子.

点估计的优良性准则

由于我们是在对参数做估计, 估计的好坏是我们必须要关注的; 同时一种参数往往有不止一种看来都合理的估计方法(比如上文的泊松分布的 ), 自然就要比较其优劣.

无偏性

对于不同的样本观测值 求出的参数估计值 不尽相同, 最理想的情况是 但这是不可能的, 因为抽取样本时数据总是带有随机性的误差. 因此我们放宽一点条件, 对于估计量 倘若 就可以认为: 对于不同的样本观测值 均匀地分布在 的周围, 不同点的或大或小的误差在求和之后抵消了, 因此称这样的 为 的无偏估计.

无偏估计的意义

• 没有系统上的误差.
• 结合大数定律来看, 若估计量具有无偏性, 则在大量次数使用取平均时, 能以接近 的把握无限逼近被估计的量. 从生活角度来看, 比如用秤称东西, 如果这个称没有系统误差(秤上显示的数据是真是重量的无偏估计), 即使每次称东西都带有随机误差, 可能会让某一方赚便宜而另一方吃亏, 但长期平均来看, 无偏性保证了双方都不会吃亏.

一些例子

样本的 阶原点矩是总体 阶原点矩的无偏估计.

下面证明样本的均值 和方差 都是无偏估计, 但用 去估计方差不是无偏估计, 且用 去估计标准差也不是无偏估计. 因此 不是方差的无偏估计.

有效性

如果一个参数有不只一种估计量, 比如有 和 对于 的一个邻域 如果 就意味着对于相同的样本观测值, 前者比后者更有可能取得离参数的准确值 更近的估计值, 那么就有理由认为估计量 要优于 即 更有效.

这实际上是希望 更集中地分布在离 比较近的地方, 那么就需要一个描述分布集中程度的量, 显然是方差. 因此给出有效性的概念:

已知 与 是 的无偏估计, 若 则称 比 更有效.

显然是存在最小方差无偏估计(MVU估计)的, 在介绍求 MVU 估计之前, 先举一个简单的例子.

设 是总体均值的估计量, 且 证明 是无偏估计, 且 是 MVU 估计.

PROOF 首先 则它为无偏估计. 注意到 要求 考虑 Cauchy-Schwartz 不等式: 取等条件为 而 这就是要证的.

这个例子用语言表述就是, 若估计量为样本的线性函数, 那么样本均值是 MVU 估计.

MVU 估计的求解

借助克拉美-劳不等式.

有时间再补充.

相合性

设 是未知参数 的估计量, 若 则称 为 的相合估计量.

比如 是 的相合估计量(借助大数定律验证), 和 都是 的相合估计量(借助辛钦大数定律验证).

证明某估计量为相合估计量时, 有三种做法:

• 采用大数定律;

• 采用 Chebyshev 不等式为概率 估计一个极限为 的下界;

• 直接计算出概率 求其极限.

对于较为简单的分布如均匀分布第三种方法比较好用.

REMARK: 相合性是在极限意义下定义的, 只有当样本容量充分大时相合估计量才会有优势, 但在实际情况下往往难以增大样本容量, 同时验证统计量的相合性并不是一件简单的事情, 因此更经常使用无偏性和有效性.

无偏性需要计算期望, 有效性需要计算方差, 相合性需要计算概率极限.

区间估计

点估计的缺陷:

• 估计值只是真实值的近似值, 它与真实值的误差范围没有指明;
• 估计值的可靠性没有指明

区间估计是一种生活中很常见的估计方式, 比如若总体为大学生的年龄, 可以估计大学生的平均年龄在 岁之间, 当然这是一个很粗略的估计, 精度非常低, 但是这个估计是足够可靠的, 可以认为平均年龄落入 的概率为 或非常接近 因此描述区间估计的好坏就有两个标准:

• 可靠度: 区间包含待估参数的概率
• 精度: 区间的长度

显然可靠度和精度是两个互相矛盾的要求, 要想提高可靠度必须要增大区间, 要想提高精度必须要缩短区间, 需要在两者之间找到一个平衡. 奈曼提出的处理原则是: 优先考虑可靠程度, 在这基础上再提高精度.

下面是区间估计的定义, 假设仅有一个待估参数.

设总体的未知参数为 由样本 确定两个统计量 对于给定的较小的实数 满足

则称随机区间 是 的置信度为 的置信区间.

"置信度" 表述了可靠程度, 即参数落在估计区间中的概率, "参数位置在这个区间中的可信程度".

置信度中的 常常取这几个数值: 以 最为常用.

一般步骤: 设 为待估参数, 根据样本 构造一个包含待估参数的统计量 (这统计量被称为枢轴变量) 并尽量使 的分布是已知的(比如标准正态, 分布, 分布等等), 同时要能反解出 即用 表示 , 再找满足 的区间 , 这通常要借助上侧分位数; 最后由不等式 整理出 这就是要找的置信区间.

事实上, 设 的密度函数为 满足 即 的区间 有无穷多个, 要选择哪一个区间呢? 根据区间估计的原则, 我们已经确保了可靠性(置信度保证了可靠性), 那么自然要选择最短的区间, 对于标准正态而言, 显然满足 的最短区间为 因此选择 分布与标准正态的密度函数形状相似(均关于 轴对称), 因此区间的处理是类似的; 而对于 分布或 分布而言, 它们的密度函数的图像无对称性, 最短区间的形式并不容易确定(确定后的形式也不简洁), 为了方便, 采用与正态分布和 分布类似的处理方式, 即令 此时就有 分布同理.

对标准正态的最短置信区间做简单论述: 任取 记 考虑满足 的 区间 由于正态分布密度函数的对称性和在 的单调递减的性质, 显然有 这就意味着若要使 显然要有 因此 这对任意 都是成立的, 这就意味着 是满足 的最短区间.

画出图像会更直观.