Riemann-Stieltjes 积分

定义 1 设 是定义在 上的实值函数, 对点列 , 任取 , 若存在 , , 使得对于 上的任意点列 都有 则记 其中 . 称 是 关于 在 上的 Riemann-Stieltjes 积分, 简称 R-S 积分.

R-S 积分对 和 都具有线性性, 也具有黎曼积分的部分性质, 比如:

• , 需要保证 存在, 且 的存在性不能推知 的存在性, 需要 在 连续.
• .

令 , 在保证 在 上都有定义以及极限存在的前提下, 立刻推出广义 R-S 积分 的定义, 它具有部分广义黎曼积分的性质.

常用定理:

定理 1 若 在 上连续有界, 在 上单调有界, 则 存在.

将 且 存在记作条件 A.

定理 2 若 满足条件 , 对任意 都存在且在任意有限区间 上都黎曼可积, 则 .

定理 3 设函数列 在 上一致收敛到 且 都满足条件 A, 则 定理 4 (控制收敛定理) 设函数列 在 上收敛到 且 都满足条件 A, 且 , 则

引入 R-S 积分是因为均值, 方差以及矩等的严格定义是用幂函数关于分布函数的 R-S 积分定义的.

条件数学期望与条件方差

定义

设 是二维随机变量, 在下述各式有定义的前提下: 称为在 的条件下, 的条件数学期望, 这是 的函数, 记作 , 连续时可以写出条件密度 . 类似可定义 , 记作 .

类似的, 可以定义函数的条件数学期望: 以及条件方差

性质

设 是概率空间 上的随机变量, , 各个数学期望都存在, 则

1. , 由定义显然.

2. 条件期望具有线性性: , 这依赖于 R-S 积分的线性性.

3. 若 相互独立, 则 .

   PROOF 相互独立有 , 则

4. 全期望公式: , 一般有三种情形:

   • 中含有

   最常见的是 的情形.

   PROOF 其中

5. , 这是因为 作为条件时 可视作常数;

6. , 由全期望公式和 5 可直接导出.

测度论入门

有时间再看.

基本定义与概念

定义1 (-代数) 对于集合 , 设集族 满足

• 若 满足 , 则

则称 为 -代数.

这个定义是在说 -代数对 可列交/有限并/有限交/差运算 是封闭的.

若 是样本空间, 则其与 -代数 形成的序偶 称为可测空间.

定义2 (概率空间) 对于可测空间 , 设函数 , 若 满足

• 对 则 成立

则称 是 上的概率/测度, 称 为概率空间. 设 满足 都有 , 则称 是定义在 上的随机变量, 称函数 是 r.v 的分布函数.

定义3 (随机过程) 给定概率空间 和具有全序关系的集合 (一般而言是指标集), 若对每个 都有定义在 上的 r.v. 与之对应, 则称依赖于 的 r.v. 为随机过程, 记作 或 ,也就是说随机过程是 上的实/复值函数. 随机过程简记为 s.p.

分布函数的性质, 联合分布以及随机变量的数字特征就不再赘述.

还有不同情况:

• 当 是有限集时 是多维 r.v.;
• 当 是无限集时称 是时间序列
• 当 是多维指标集时, s.p. 又称为随机场. 比如 ,定义在 上的 s.p. 可以看作是 上的区域 上每一点的随机变量随时间的变化, 典型的例子应该是一个区域的温度.

由于 s.p. 是 上的函数:

• 当固定 时, 就是一个普通的 上的 r.v..
• 当固定 时, 是一个函数, 并且由于存在复随机过程, 因此 可以为 或 . 称为 s.p. 相对于样本 的样本函数/轨道/路径, 可以看作是特定条件下对 s.p. 的一次观察结果.

随机过程的分布

的分布函数为 , 称 为 的一维分布函数族.

对于 , 它们的 维联合分布函数为 , 其中 , .

称 为 的有限分布函数族, 简称为有限维分布. 多维联合分布函数具有:

• 对称性: 设 是两个排列, 则 , 其中 , 其它一样.

• 相容性: 相容性可看作是边缘分布的推广: 其中 .

定理1 (Kolmogorov 随机过程存在定理) 设 是满足对称性和相容性的有限维分布, 则存在 上的 s.p. 使得 的有限维分布函数族等于 .

对于 , 定义它的 维特征函数为 并且 称为 的有限维特征函数族. 这个有限维特征函数满足类似于多维联合分布函数的性质:

• 对称性:

• 相容性:

除此之外, 还可以定义多维随机过程 .

随机过程的数字特征

类比随机变量的期望和方差, 随机过程也有均值函数和方差函数.

对 , 定义其均值函数 定义其方差函数为 并且定义 为 的均方差函数.

除了实随机过程外, 还可定义复随机过程 满足 , 其中 都是实随机过程, 复随机过程也有均值函数和方差函数, 但是 的定义为 , 即要取模长, 可以证明: 除此之外还有如下定义:

• 自相关系数函数
• 协方差函数 , 如果说是复随机过程则 .
• 自相关函数 , 如果是复随机过程则

可以发现 .

多维随机过程的互相关函数

对于 s.p. , 定义 维随机向量 的联合分布函数 称为 的 维联合分布函数. 若 , 则称 相互独立.

对于两个复随机过程 有互协方差函数: 和互相关函数 它们描述了特定点时的 两个 r.v. 的数字特征, 随着 变通反映了它们的整体相关程度.

若 , 称两个随机过程互不相关, 若 , 称两个随机过程相互正交. 显然相互独立是互不相关的充分条件.

随机过程的基本类型

二阶矩过程

二阶矩过程是 的随机过程, 它的协方差函数和相关函数总是存在的, 这是由 Schwartz 不等式保证的. 下面的随机过程都是二阶矩过程.

正态过程

任意维随机向量都服从联合正态分布的随机过程, 或者是说有限维分布是正态分布函数族的随机过程.

宽平稳过程

, 即均值为常数, 协方差函数仅与 有关.

正交增量过程

马尔可夫过程

见下.

独立过程与平稳独立增量过程

下面只着重介绍马氏过程.

Markov 过程

马氏过程的典型特点是将来状态只与上一个状态有关, 也就是无后效性, 定义是, 对于 , 若过程的条件分布函数存在且对任意 个时刻都有 则称 是马尔可夫过程, 其中 , 后文默认这样的序关系存在, 又称 为转移概率. 条件分布函数满足 若条件密度函数也存在, 就有 , 这又称为转移概率密度.

根据马氏过程的无后效性, 显然有下面等式成立:

以及有限维概率分布为

这说明 m.s.p 的有限维分布是完全由一维分布和条件分布决定的.

马氏过程的"有限维分布"是有限维概率分布的简称, 前文介绍基本概念时提到的一般随机过程的"有限维分布"是有限维分布函数族的简称, 是一族函数 , 两者的定义是有区别的.

很容易证明独立过程和初始分布 的独立增量过程都是马氏过程, 也就推知维纳过程和泊松过程都是马氏过程. 马氏过程简称 s.m.p.

对于 s.m.p. , 若条件分布函数 存在, 则称函数 为转移分布函数, 转移分布函数就是时刻 的值为 的条件下时刻 的值不超过 的概率.

离散参数马氏链

和 都是离散的 Markov 过程.

转移矩阵和 C-K 方程

称 为 在 时刻的 步转移概率, 含义是在时刻 处于状态 的条件下, 经过 步之后处于状态 的概率.

定义矩阵 为 在 时刻的 步转移概率矩阵, 时简称转移矩阵, 有如下性质:

1:

. 因此转移矩阵是随机矩阵.

PROOF 由定义显然, 即在时刻 处于状态 的条件下, 经过 步之后一定会处于 中的某一个状态 , 那么所有的概率和一定为 1.

随机矩阵的每一行都是概率向量, 概率向量 满足 且 . 若 是随机矩阵, 则 .