一维随机变量及其分布

概念

很多试验的样本空间的样本点不是数字, 不好处理, 我们可以通过某种映射规则将其映射到 上, 得到变量, 便可以借助一些数学工具来解决随机问题.

随机变量是试验结果(即样本点)的函数. 在试验之前我们不能预知它的值, 在实验之后它的值就确定了.

定义1 设 是随机事件 的样本空间, 若对每一个 内的样本点 都有唯一的 与之对应, 且对任意实数 都有确定的概率 与之对应, 则称 为随机变量, 简记为

我们在后面可以看到概率 的意义.

REMARK : 随机变量实际上是映射 有时候在样本点为实数时, 我们会取 为恒等映射. 随机变量不同于普通意义下的变量, 它有两个特点: 由随机试验的结果所决定, 以及随机变量各值得可能性大小有确定的统计规律性. 随机变量的反面是确定性变量 即取值严格遵循某种严格规律的变量.

随机事件是从静态的观点来研究随机现象，而随机变量则是一种动态的观点, 一如数学分析中的常量与变量的区分那样, 变量概念是高等数学有别于初等数学的基础概念.

关于随机变量的研究是概率论的中心内容. 随机变量可分为离散型随机变量和连续型随机变量. 实际上, "连续性变量"这个概念只是一个数学上的抽象, 任何量都有一定单位, 都只能在该单位下量到一定的精度, 故必然为离散的. 但是当单位极小时, 其可能值在一范围内会很密集, 视作连续量在数学上更为容易处理.

离散型随机变量

定义2 设 为离散型随机变量, 其全部可能值为 则 称为 的概率函数/分布律/概率质量函数.

显然 第二个式子可由概率的加法定理得出.

式 反映了全部概率在其取值之间是如何分配的, 又称为"概率分布/分布". 我们可以用列表表示分布律:

定义3 (分布) 我们称所有 构成的集合称作随机变量 的分布.

分布是概率构成的集合, 知道了 的分布, 就知道了 落在实数轴上任意一个子区间的概率, 从而知道了随机变量 取任何值的概率. 需要注意的是事件 与事件 是等价描述.

分布的定义中, 的任意子集 的种类太多, 不便于我们描述, 我们采用一些特例, 包括上述的分布律, 下面要介绍的分布函数以及后文中的概率密度函数.

定义4 (分布函数) 设 为一随机变量, 则函数 称为 的分布函数.

定义4看似简单, 只定义了一个点左侧的概率, 但实际上我们能借此表示出任一区间的概率.

定义4并不独属于离散型随机变量, 它对于任意随机变量都有定义. 这是个很了不起的定义, 虽然它表面上只给出了随机变量落入任意一个点的左侧的概率, 但我们能通过此求出随机变量落入任意一个区间 的概率, 同时对区间 上的概率取极限我们可以得到随机变量取任意值的概率, 它为

若离散型随机变量 的所有可能取值为 那么分布函数可以改写为: 不难发现 即 为数列 的差分(不过要定义 ), 于是 或者按照分布函数的写法: 从这也能看出分布函数实际上是一个累加概率. 对于连续性随机变量, 我们可以根据数列的差分与函数求导、数列的求和与函数的积分之间的类比定义密度函数, 这在后文中会有提到.

性质1 对于任意的随机变量 它的分布函数 有下面的一般的性质:

1. 单调不减.

3. 是右连续函数, 即

PROOF 性质1.1是很容易证明的, 因为对于 于是借助概率的性质有 对于性质1.2, 当 时 接近于必然事件, 时 接近于不可能事件.

性质1.3: 这性质与定义中的 关系密切.

上述的三条性质实际上是充要条件, 我们可以用这三个条件来验证一个函数是否是一个分布函数.

对于离散型随机变量, 有一些重要的分布.

Bernoulli试验与二项分布

定义5 若一个试验的样本空间只有两个样本点, 即只有两个可能的对立结果, 和 则称该试验为Bernoulli试验.

令 以及 则 的概率分布为 称 所遵从的该概率分布为两点分布. 在以后, 当 符合某种分布 时, 我们用 来表达这一点.

定义6 (独立重复实验) 将一个试验在相同条件下重复进行 次, 如果在每次试验中任一事件出现的概率与其他各次试验结果无关, 则称这 次试验是 次独立重复实验.

定义独立重复实验后, 我们思考这样一个问题: 独立重复地进行Bernoulli试验 次, 为事件 在这 次试验中发生的次数, 计算 的概率分布.

显然 的所有可能取值为 于是 称 所遵从的概率分布为二项分布, 记作 .

之所以称为二项分布, 是因为 是 的展开式的第 项, 即 于是两点分布实际上是二项分布的一个特例, 即

二项分布的实例之一是有放回的抽样, 即在次品率为 的 个产品中有放回的抽出 个产品, 这 个产品所含次品的个数 便服从二项分布. 显然不放回抽样时 不服从二项分布, 但是若 我们可以近似认为不放回对 无影响, 这时候可以近似认为 服从二项分布.

二项分布的极限: Poisson分布

我们通过一个实例来引出Poisson分布.

设随机变量 表示一定时间内发生的事件个数. 为了方便, 设观察的这段时间为 并将其 等分: 我们做一些假定: 设事件 在某个时间段发生的概率正比于这个时间段的长度(也即 在任意时刻发生的概率相等), 于是当 充分大的时候, 我们有理由认为事件 不可能在每个区间(这些区间的时间很短)内发生两次或两次以上; 同时假定 在任意时刻发生是独立的, 并设 在每个区间发生的概率为 基于以上假定, 我们可以近似认为

于是 由于 很大, 我们取极限, 有: 以及: 于是 称满足遵从上述分布的随机变量 服从Poisson分布, 记作 上述推导就表明了Poisson分布是二项分布的极限. 既然Poisson分布是二项分布的极限, 那么我们便可以在某些条件下用Poisson分布来近似二项分布(这样做是因为Poisson分布的计算要更容易). 一般来说, 对于 满足 很大 很小且 不太大时, 便可以用Poisson分布来近似二项分布.

由于 时 因此在实际计算时, 我们可以忽略某个较大的 后面的项, 即考虑有限项, 这能减少不少运算量.

超几何分布

在第一节的古典概型例题部分, 有这样一个抽样问题:

从有 个废品的 个产品中随机抽出 个产品，求里面恰好有 个废品的概率。

记 为抽出的废品数, 则 称遵从上述分布的随机变量 服从超几何分布, 记作

由于超几何分布的模型是一个不放回的取物品的模型, 当 比较小或 时, 放回与不放回之间的差距不大, 可以忽略, 此时超几何分布可以用二项分布来近似(取物品放回的模型为二项分布), 即

负二项分布

某种产品的次品率为 现一个一个地从若干该产品中抽取, 设抽取到第 件次品时已经检出 件合格品, 则 称符合上式的随机变量 符合负二项分布, 记作 , 被称作负二项分布是因为数列 的生成函数为 即负指数二项展开式.

借助系数组合的背景可以有下面的做法:

几何分布

是负二项分布的 时的特例. 它是公比为 的等比数列, 故称为几何分布.

几何分布的一个实例是: 在某试验 中事件 发生的概率为 独立重复地进行试验 为 第一次发生时进行的试验的总次数, 服从几何分布.

连续型随机变量

我们先不给出连续型随机变量的严谨定义, 而是提供一个感性的定义, 连续型随机变量 的全部可能取值是全体实数. 于是我们不能像定义2那样描述连续型随机变量(因为实数集取值不可列). 事实上, 如果我们指定一个数 我们可以求出 这是因为

当然上式依赖于 的连续性, 这在后面会有证明. 所以我们需要用其他方法来描述连续型随机变量的分布.

在定义分布函数后, 我们发现对于离散型随机变量, 概率数列 实际上是数列的 的差分, 那么我们可以用分布函数类比此用导数来定义"概率密度函数"用以刻画连续型随机变量的概率分布:

定义7 设连续型随机变量 有概率分布函数 定义 为 的概率密度函数, 简称密度函数.

定义7是一个感性的定义, 它未考虑 不可导点的情况, 后面会给出解决的方法. 下面给出连续型随机变量的定义.

定义8 (连续型随机变量) 设随机变量 的分布函数为 若存在非负可积函数 , 使得对任意实数 都有 则称随机变量 是连续型随机变量.

REMARK (1) 连续性随随机变量 的分布函数是连续函数, 借助可积函数的积分上限函数连续即可证.

2. 但是其逆不真, 即不可能事件也有可能发生.

由于 分子即为事件 的概率, 除以 后可以理解为在区间 内单位长度所占有的概率, 取极限即得概率在 处的"密集程度", 这是"密度函数"名字的由来; 另一种理解的方式是, 考虑 的一个充分小的邻域 于是 它表明了区间 事件发生的概率, 于是 可以看作是单位长度所占有的概率.

于是对于质量为 的杆而言, 可以将分布函数看作它的质量分布, 由分布函数可以求出任意一段杆的质量; 可以将概率密度函数看作是杆的密度分布函数, 虽然杆上的任意一点的质量为 但是杆的密度函数可以反映出杆上哪一块质量分布比较集中.

性质2 连续型随机变量 的密度函数 都具有一下三条性质:

1:

2:(规范性)

3: 对任意 都有

值得注意的是由于连续型随机变量任取一个点的概率都为 所以性质2.3对于 以及 而言都是一样的.

若函数 满足性质2.1, 2.2, 则它必定是某个随机变量的概率密度. 这两个条件是充要的.

对于不可导点的处理

概率密度函数的定义为 但是 不总是可导的, 因为只有当 连续的时候 才可导. 对于不可导点, 实际上它并不重要, 因为黎曼可积还告诉我们, 改变可积函数的有限个点的值并不影响其积分的值. 于是在不可导点处, 概率密度函数的值可以随便取, 通常为了方便我们把它放到左边或者右边, 或者根据实际问题而定.

对于连续型随机变量也有一些重要的分布.

正态分布

定义9 若一个随机变量的概率密度函数为 则称 服从正态分布(normal distribution)/Gauss分布, 并记为

特别地, 若 则称 服从标准正态分布. 标准正态分布的分布函数常用 或 表示. 一般的正态分布很容易转化为标准正态分布来计算. 因为 验证 是一个概率密度函数是十分简单的, 只需要验证反常积分 即可.

REMARK: 若 则 计算的时候查表再利用对称性灵活应用就好了.

上侧分位数

已知随机变量 若存在 使得 则称 为标准正态分布对应于 的上侧分位数.

上面的定义即在说 举个例子, 已知 则

指数分布

用一个例子来引出指数分布.

设一元件的寿命为 该元件的失效率(在单位长度的时间内失效的概率或者说在某一时刻失效的概率)保持不变. 假设该元件在 内正常工作而在 内的某个时间点失效, 则其失效率可以表示为 (这需要条件概率是因为元件在 内正常工作是已经发生的事情), 取极限 可得瞬时失效率, 于是 解该微分方程可得 显然 因为元件的寿命不可能为负, 于是 的分布函数为 借助此我们可以求出其概率密度函数:

定义10 若随机变量 的概率密度函数为 则称 服从参数为 的指数分布, 记作

性质3 (无后效性/无记忆性) 设 服从参数为 的指数分布, 则对任意 有

性质3也叫"永远年轻的分布", 它的意义是, 现在有一个元件已经使用了 时间, 那么它能再使用至少 时间的概率, 与一个未使用过的元件能使用至少 时间的概率相等, 那么在概率的意义下, 我们完全可以把它当成新的元件来用.

指数分布描述了无老化时的寿命分布, 然后在现实生活中, 往往是 的增函数, 即随着时间的推移, 元件老化的概率会变大.

均匀分布

定义11 若随机变量 的概率密度函数为 则称 服从 上的均匀分布, 记作 或

REMARK: (1) 随机变量落在 的子区间的概率与位置无关, 仅与测度成正比, 对于一维的连续型随机变量测度为长度;

2. 大量实验服从均匀分布; 当在某个区间若我们无法断定某个子区间事件发生的概率比其他子区间事件发生的概率大, 那么就有理由认为这是均匀分布. 均匀分布的典型字眼: 在区间 上任取一点.

分布函数为

混合型随机变量

混合型随机变量既不是离散型随机变量, 也不是连续型随机变量. 下面举个例子: 已知一个圆, 圆周的一半均匀分布着区间 上的数字, 另一半则全部分布着 现在圆周上随机取一点, 记取到的点为 显然 不是离散型随机变量, 因为 上数不可列; 又由于 的分布函数为 显然 在 处不连续, 这与连续性随机变量的定义有悖, 于是它也不是连续性随机变量.

多维随机变量（随机向量）

基本概念

设随机试验 的样本空间为 且 的每一维都是定义在 上的随机变量, 则称 为一个 维随机向量/变量. 我们主要关注二维随机变量.

二维随机变量

可以看到二维随机变量的这些定义与一维随机变量的定义极为相似.

联合分布函数

若记 那么就称 为随机变量 的联合分布函数.

联合分布函数在概率的计算中应用的并不是很多, 因为它只能计算出矩形区域的面积, 若区域不是矩形, 即使是非常规则的圆, 计算概率也十分费劲. 后面介绍的密度函数更适用于计算某一区域的概率

边缘分布函数

多维随机变量的每一维都是一维随机变量, 于是每一维的分布函数称为边缘分布函数, 即

对于离散型随机变量有联合分布律.

联合分布律

若二维随机变量 每一维的取值都是可列的, 则称其为离散型随机变量, 概率可用下面的式子表示: 称为联合分布律. 可用表格表示.

性质:

1: 随机变量 的分布律(边缘分布率): 2:

3:

4:

对于连续性随机变量有联合概率密度.

联合概率密度

定义 设二维随机变量 有联合分布函数 若存在非负可积函数 使得对任意序偶 有 则称 是二维连续型随机变量, 称为 的联合概率密度.

反映了概率在 上分布的集中程度, 就像密度 () 函数反映了一个平面的质量分布一样. 一个平面任意一点或一条曲线的质量为零, 概率同样也为零. 类比边缘分布函数有边缘概率密度: 和 满足 下面是一些性质:

性质 1:

2:

3: 在 的连续点处有

4: 若 则

性质4提供了计算任意区域上概率的更方便的方法(相比用联合分布函数), 这也是联合概率密度用得比联合分布函数多的原因. 这个性质的一维版本是 可以直接表示为 某些值相加减, 因此一维随机变量很多情况下用分布函数计算更为方便.

5: 于是 同理