参考书目：《概率论与数理统计》陈希孺 以及本校的教材和中科大的教材, 并以前两者为主.

概率论与数理统计是研究随机现象的统计规律性的数学学科。

序言: 概率论的起源

无论哪个年代, 人们开始关注概率论初步研究的原因, 一定都是基于赌博.

——吐得哈特《概率论史》

引子

1

A 和 B 两人公平地进行轮流投掷硬币。正面先出现 3 次的话就是 A 的胜利，反面 先出现 3 次的话就是 B 的胜利，胜利者可以获得全部的奖金。但当正面出现 2 次， 反面出现 1 次时，投硬币游戏因为某种原因不得不中止。请问此时，从公平的角度来看，要按什么比例分配奖金？

直观上来想, 在这个条件下, 获胜概率越大的人应该能拿走更多的奖金. Pascal和Fermat给出了两种不同的解法:

Pascal解法： 于是为 Pascal实际上就是在求概率.

Fermat解法: 由于再投两次比赛必定结束, 且所有可能的结果为: 正正、正反、反正、反反，其中的三种情况能使 胜, 只有一种情况能使 胜, 自然是 这实际上是古典概型的想法.

2: 伯川德悖论

在单位圆内随机取一条弦, 求其长度超过该圆内接等边三角形边长的概率.

这道题之所以被称为悖论, 是因为"随机取一条弦"不够具体, 我们不清楚是何种随机, 不同的 "等可能性" 假定导致了不同的样本空间. 若取得弦的中点在一条直径上均匀分布, 直径上的点为样本空间, 则 若取得的弦的端点在圆周上均匀分布, 圆周上的点为样本空间, 则 若取得的弦的中点在圆内均匀分布, 圆内的点为样本空间, 则

一些定义

概率是表示某种情况（事件）出现的可能性大小的一种数量指标.

自然界的现象一般分为:

• 确定现象: 条件决定结果, 研究工具为分析/几何/代数等;
• 随机现象: 条件不能完全决定结果, 研究工具为概率论/数理统计.
• 模糊现象: 事物本身的含义不确定的现象.

定义1（随机试验） 满足以下条件的试验称为随机试验：

• 它可在相同条件下重复进行;
• 试验的全部可能结果，在试验前就明确知道;
• 一次试验结束之前，不能准确预知哪一个结果将会出现.

重复进行试验时所需要的"相同条件"

定义2 (基本事件与复合事件) 称在随机试验 中必发生一个且仅发生一个的最简单事件为事件 的基本事件, 由若干基本事件组合而成的事件称为复合事件.

比如掷骰子, 掷出 点是六个基本事件, 掷出合数点是一个复合事件, 它是掷出 点这两个基本试验的复合. 一个随机试验的基本事件可能有无穷个.

定义3 用集合表示事件. 对于随机试验 的每一个基本事件, 用一个只包含元素 的集合 表示, 并称 为基本事件 对应的元素 ; 对于由若干基本事件组成的复合事件, 则用对应的若干个元素所组成的集合表示; 由全体基本试验所对应的全部元素组成的集合, 称为随机试验 的样本空间, 用 表示. 样本空间的每一个元素 为样本点, 对于事件 若我们观测到样本点 则表示事件 发生.

即一个随机试验结束时所有可能的结果构成的集合. 事件即为 的子集. 特别地, 称为必然事件, 称为不可能事件.

REMARK 1) 根据基本事件与复合事件的定义, 是基本事件还是复合事件? 答案是复合事件, 因为 不满足基本事件的定义, 即必发生一个且仅发生一个的最简单事件, 而 在一次试验中是不可能发生的.

2. 基本事件是试验结束时的结果, 不同基本事件发生的概率并不一定相等. 比如试验: 抛硬币直到抛出正面结束试验, 其样本空间为 其中 为反面, 为正面,

事件的运算

事件是基本事件所对应元素的集合，它仍然可以进行集合的运算，同时这些运算也有对应的实际意义。

事件的包含关系 设同一试验下的两个事件为 若 发生可以推出 一定发生，我们称 蕴含 或 包含 记作

从集合的角度来考虑, 事件 发生表明做试验的结果是某个基本事件 由于 也发生了，这表明 即 这正表明了

若 互相蕴含，则称两事件相等，记作 “两事件相等”的意思就是两个事件由完全相同的试验结果构成，它不过是同一件事表面上看起来不同的两种描述而已。

根据子事件的定义, 表明了"不可能事件的发生会导致 " 的发生, 这看起来有些荒诞, 但是既然不可能事件都发生了, 我们为什么没有理由认为 不发生呢? 这实际上是错误的前提可以推出任意的结果, 即当 为真 为真或 为假时 为真.

事件的和 (并) 设有两个事件 定义事件 为事件 与事件 的和或并，记作

我们可以借助事件的并给并联电路建模: 任意支路工作, 整个系统工作.

事件的积（交） 设有两个事件 定义事件 当 都发生时 发生，当 两者有一个不发生时 不发生。这样定义的事件称为事件 和事件 的积或交，记作 我们可以借助事件的交给串联电路建模.

上面定义了事件的积，需要两个事件同时发生，但是两个事件不总是能同时发生，比如掷一枚骰子这个试验，设掷到奇数点为事件 掷到偶数点为事件 显然 不可能同时发生，于是我们引申出互斥事件的概念。

事件的互斥和对立 若两事件 不能再同一次实验中都发生，则称它们是互斥的。

互斥事件的一个重要情况是对立事件：若 为一事件，则 称为 的对立事件，记作

对立事件对应了集合的补集运算。

与任何事件都互斥, 且同一试验的基本事件之间两两互斥.

事件的差 设 为两个事件，定义事件 为事件 的和或差，记作 注意到 不发生可以用其互斥事件表示，于是有等式 成立。这正对应了集合之间的差集运算。

注意: 由于事件的运算对应了集合的运算,因此集合的运算性质在事件的运算中仍然适用. 这里只列出吸收率: 若 则

此外, 上述事件的运算均可推广至多个事件之间的运算.

常用公式

即 当然, 直观上也很容易理解 "去掉两个集合的公共元素".

用容斥原理可以得到另一个式子: 借助上个式子整理即得:

古典概率

设某个试验有有限个可能的结果 若从该试验的条件以及实施方法上去分析，我们找不到任何理由认为其中的某个结果 要比另一个事件 ”更容易“发生，那么我们便认为所有的结果有同等的可能出现，这样的试验结果称作”等可能的“.

定义4 设 是一个随机试验, 若它满足: (1) 仅有有限个基本事件; (2) 每个基本事件发生的可能性相等, 则称 为古典概型试验.

显然有

定义5¹ 设一个试验有 个等可能的结果（即基本事件），而事件 恰好包含其中的 个结果，则事件 的概率，记为 定义为 性质1 设 互斥，则

计算举例

按照古典概率的定义，古典概率的计算归结到 的计算，而这往往涉及到排列组合。排列和组合的前置知识： 组合数学（一）：一些问题&排列与组合。

例1 从有 个废品的 个产品中随机抽出 个产品，求里面恰好有 个废品的概率。

SOL 显然为 例2 个男孩 个女孩排队，求所有女孩两两不相邻的概率，以及他们排列成一个圆时所有女孩两两不相邻的概率。

SOL 显然是插空法，先排男孩，再把女孩插入空隙即可。排列成直线时， 排列成圆时，直接套用圆排列公式即可，注意女孩插入空隙时并不是圆排列： 例3 某人在口袋里放了两盒火柴，每盒有 支火柴，他每次抽烟时会随机拿出来一盒用掉其中一支。某次他拿出一盒发现该盒是空的，那么此时另一盒还剩 支火柴的概率是多少？

SOL 拿到空盒是第 次去火柴盒,于是这 次的取法总数为 次; 至于前 词, 要保证一盒火柴用完，另一盒火柴还剩 支，则有 次取了同一盒火柴, 即 一共有两盒火柴, 取法应该是 于是

几何概率

概率的统计定义

从实用的角度来看，概率的统计定义是一种同归实验去估计事件概率的方法。如果我们无法通过理论分析某个事件 发生的概率有多大，我们可以做多次同样的实验（即同样条件下），假如为 次，并设这 次试验中事件 发生的次数为 那么我们称 是事件 在这 次试验中的频率，概率的统计定义即让这个频率作为事件 概率 的估计。它的直观背景很简单：一件事出现的可能性大小应该由它在多次重复试验中出现的频繁程度去刻画。

事实上，概率的统计定义的重要性不在于它是否提出了一种概率的定义，而是提出了一种估计概率的方法以及检验理论是否正确的方法，

概率的公理化定义

定义5 设随机试验 的样本空间为 定义事件的集合 满足 定义概率为函数 它满足三条性质:

1: (非负性)

2: (规范性)

3: (可列可加性) 对 的两两互斥的事件列² 有 性质2 1:

2: (有限可加性) 对 的两两互斥的事件 有 3:

4: (单调性) 有 且

PROOF 性质2.1: 显然 与 互斥, 考虑事件列 利用可列可加性有 显然

性质2.2: 只需要置两两互斥的事件列中的 为 并利用可列可加性与性质2.1即可得出.

性质2.3: 借助有限可加性有

性质2.4: 注意到 且 于是 这就证得了 且 于是

性质3 (概率的加法定理)

设 则有 当 两两互斥时，上式变为

这本质上就是容斥原理，因为 即 与 之间是一一对应的³。

从这里也可以推出: 我们常用的是 的情况，即

条件概率

条件概率，顾名思义就是在附加一定条件之下所计算的概率。在概率论中，若除了试验的那些基础条件之外不再加入其他条件或假设，则算出的概率就叫做“无条件概率”；当说到条件概率时，我们总是指另外附加的条件，通常的形式为：在某件事已经发生的条件下计算另一件事情发生的概率。比如，掷一枚骰子，在掷出奇数点的条件下，掷出素数点的概率为 因为奇数点 中的 为素数。我们把在事件 发生的条件下事件 发生的概率记作 竖线表明 已经发生或假想它已经发生。

考虑更一般的情况，设一个事件有 个等可能的结果，事件 分别包含其中的 个结果，且它们有 个公共的结果，即事件 包含的结果数为 个。若要在事件 发生的条件下计算事件 发生的概率，则全部可能的结果由原先的 个变为了 个，而其中的 个结果发生可以推出事件 发生，这表明 这就是条件概率的定义，其中要限制 对于 的个别情况，我们可以用极限去处理。

REMARK 计算条件概率不一定要用上面的公式，比如在前面举的掷骰子的例子，我们直接从加入条件后改变了的情况去算更为方便。

定义条件概率后， 我们希望这是一个合法的概率模型，也即该概率模型是符合公理化定义的，现在我们来验证条件概率符合概率的三个性质。

性质4 设随机试验 的样本空间为 设 且 则

1: （非负性）

2: （规范性）

3: （可列可加性）若 两两互斥, 则

这里只证明性质4.3.

PROOF 首先若 两两互斥，则 也是两两互斥的，这是显然的，因为对于互斥的事件列而言，它们的子集也是两两互斥的。

这就表明了条件概率是一个合法的概率模型，于是概率满足的其他性质条件概率都是满足的。

定理1 乘法公式 设 是试验 的若干事件, 且 则

PROOF 从最后一个用乘法公式 逐步展开:

独立性

在条件概率中举的掷骰子的例子中，我们计算出了 若无“掷出奇数点”这一条件，掷出素数点的概率为 这表明事件 的发生对事件 的发生起了“促进作用”， 影响到了 的发生，这反映了 之间存在着一定关系。于是自然的，若事件 的发生对事件 的发生无任何影响，应该有 这意味着事件 之间互不影响（因为我们很容易从该式中推出 ）, 我们称 两事件独立,同时可以推出 上式被称为"概率的乘法定理", 用它来刻画独立性要比用 更胜一筹, 因为使用后者还需要考虑 是否为零的问题. 它可以推广: 若从若干事件 中任意取出 个 (有限个) 事件 且它们满足 则称 相互独立.

若要验证 个事件相互独立, 则要验证 个等式成立. 这一结果来自于下面的式子: 即要满足任意的 个事件相互独立.

推论1 用一个A简单的例子来说明推论1: 设 相互独立, 则 也相互独立.

推论2 (置换原理) 若事件 相互独立, 则把其中任意事件改为其对立事件后得到的这 个事件仍然相互独立.

推论2证明起来思路比较简单, 但是比较繁琐, 在此不作证明. 推论2是在说, 若两个事件相互独立, 那么其中一个事件发生与否对另一个事件的发生都没有影响.

推论3 若 且 则 相互独立.

推论3直观理解起来比较简单, 即 是否发生对 的发生没有影响, 可以推知 相互独立. 若要做数学推导也比较简单, 把 都换掉就好了: 整理即得答案.

REMARK 1) 一般情况下, 若 相互独立, 在另一个事件 发生的条件下 就不一定相互独立了, 比如在 发生的条件下 互斥, 此时满足

2. (相互独立与两两独立) 两两独立的定义是, 在一些事件 中, 若任意两个事件都独立, 则称它们两两独立.需要注意的是, 相互独立是两两独立的充分不必要条件. 举个例子, 对于抛掷甲乙两枚四面标有 的正四面体骰子这一实验, 记 直观上考虑, 是两两独立的, 因为甲朝下那一面不会对乙朝下那一面产生什么影响, 甲乙向下的那一面奇偶性是否相同也不会影响甲朝下那一面的奇偶性等等. 利用古典概型也很容易求出 这验证了我们的直觉. 但是显然

3. (独立与无关) 两个事件相互独立是概率意义上的陈述, 并不意味着两个事件"无关". 当然, 若两个事件无关, 那么两个事件相互独立, 但是反过来不能这么说. 举个例子: 连续抛掷两枚硬币, 对于事件 "第一次出现正面"和事件 "至少出现一次正面", 经过计算可以得到 这意味着两个事件相互独立, 但显然两个事件是有关联的.

4. 互斥的两个事件不能相互独立, 除非这两个事件的一个概率为 另一个为

例4 甲乙进行比赛. 设任意一局比赛甲赢的概率为 乙赢的概率为 不考虑平局出现的可能性, 即 且有 规定甲赢的条件为: 甲连续胜三局且在此之前乙从未连续胜过两局; 乙赢的条件为: 乙连胜两局且在此之前甲从未连胜过三局. 求甲, 乙分别赢得最终的比赛的概率.

SOL 记每一局甲胜为事件 乙胜为事件 相互独立. 我们先考虑甲赢得最终比赛, 记为事件 . 此时有两种情况, 第一局甲胜或第一局乙胜, 记为子事件 . 当第一局是甲胜时, 则比赛结果必然是由若干 以及一个 组成的, 每个阶段相互独立; 且 设除了最后一个阶段 外有 个阶段, 则 显然 可以从 取到 且 于是 而第一局是乙胜时, 比赛结果必然是由若干 以及一个 组成的, 每个阶段相互独立, 求解类似上述过程, 有 两者相加即可. 对于乙分析也类似, 但实际上可以直接用 来求.

全概率公式与Bayes公式

定理2 全概率公式 设事件 的样本空间为 是 的一个有限划分, 事件 则有 PROOF 显然 相互独立, 则 相互独立, 因此

一种理解全概率公式的方式为: 把事件 当作导致事件 发生的原因, 即事件 发生总要以某个事件 为途径 , 对于不同途径, 条件概率 也各不相同, 采用哪个途径也完全是随机的, 于是事件 发生是通过途径 的概率为 而事件 通过途径 发生(即在事件 发生的条件下) 的概率为 那么我们可以像求数学期望那样(或者直观感受), 把 作为 的权重, 作为 的一部分, 即 为 以 为权重的加权平均 , 从而可以得到全概率公式.

全概率公式常用在预测推断中，又称为事前概率。

REMARK: 需要注意的是，全概率公式不总是需要用 的有限划分，事实上，若存在互斥的 个事件 满足 那么在全概率公式中我们只需要用 而不需要用 的有限划分。

定理3 Bayes公式 利用 以及全概率公式可得: 这是所谓的Bayes公式.