发现之前统计学习课的作业的研讨问题自己写的还行，先放在这，日后有时间再总结凸优化。

统计学习研讨问题

研讨问题 1.6

什么是判别式方法？什么是生成式方法？

判别式方法是判别式模型(Discriminative model)使用的方法. 判别式模型直接对条件概率 进行建模或者直接根据给定的训练数据集学习一个映射 , 这样对于一个输入 , 可以直接求出 的标签为 的概率或者是直接得到 的预测标签.

典型的判别式模型为线性回归, 支持向量机, Logistics 回归等等. 判别式模型在数据的分布较为复杂(比如文本任务和视觉任务)时表现较好.

生成式方法为生成式模型(Generative model)使用的方法. 生成式模型对 的联合概率密度 进行建模, 在此基础上, 对于一个新的输入 , 可以通过 Bayes 公式求出 在该输入下 的标签为 的概率, 那么 典型的生成式模型为 Naive Bayes 分类器, 线性判别分析等. 生成模型更容易在模型中添加先验知识.

简而言之, 判别式模型需要学习出一个 decision boundary, 而生成式模型学习得到的是联合概率密度, 两者的共同目的都是最大化后验概率, 前者直接对后验概率进行建模, 后者则通过贝叶斯定理这一桥梁间接求解后验概率.

在底层工具对实值函数求导的实现时, 形状是值得注意的问题, 尤其是行向量与列向量, 例如对于 Numpy 而言行向量与列向量在进行矩阵运算时一视同仁, 其形状为 (l,), 但是如果将其 reshape 成形如 (a,b) 的形状, 就需要将其当成矩阵来对待, PyTorch 的张量计算与之类似, 同样需要额外注意形状的一致性.

研讨问题 3.2

使用梯度下降法优化参数，需要注意哪些问题？

对于最朴素的梯度下降法, 其中最重要的参数为学习率, 因此合适的学习率非常重要, 学习率过小会导致收敛速度慢, 学习率过大又会导致在最优解附近震荡.

对于深度学习中常用的梯度下降法的变体, 包括随机梯度下降以及对数据引入 Batch 之后的批量梯度下降方法等, 除了学习率的取值要合适以外, 有下面几点需要注意:

1. 初始值的选择. 对于普通的线性回归等目标函数和约束条件都较为简单的问题(尤其是凸优化问题), 初始值的选择对结果影响不大; 但是对于极其复杂的非凸优化问题(深度学习中优化器要优化的函数往往是这种类型的函数), 初始值的选择就尤为重要了, 常见的初始化除了全部初始化为0和按照均匀分布随机初始化以外, 还有 Xavier 初始化方法和 Kaiming 初始化方法, 后面两种初始化方法尤适用于复杂的网络, 且对于不同的激活函数表现不同.
2. 迭代次数的选择: 选择合适的迭代次数保证在合适的精度范围内达到一个质量较好的解, 若迭代次数太少获得的解质量太差; 若迭代次数太多又会消耗大量的时间而解的质量并不能得到明显的提升.
3. 数据的归一化: 又称为特征的尺度缩放, 如果不对特征尺度进行缩放, 若存在一些特征之间的尺度差距过大, 即使是最简单的凸函数的优化, 在最优解附近的水平及会呈现出离心率较高的同心椭圆, 这会导致在迭代时点列形成的路径成锯齿状, 要花费额外的时间才能获得质量不错的解, 而进行归一化之后最优解附近的水平集呈现出一系列同心圆, 梯度下降的方法可以很快在指定精度范围内到达最优解附近.

研讨问题 4.11

1. 什么是 Gram 矩阵？ (2) 计算 Gram 矩阵的作用是什么？

在线性代数中, Gram 矩阵是定义在内积空间 上的一个 Hermite 矩阵, 它取决于一系列向量 , 在机器学习领域, 当仅仅讨论实数域时, Gram 矩阵为实对称矩阵, 满足 .

Gram 矩阵的作用:

1. 感知机算法: 在感知机算法中, 由于其对偶问题要优化的目标函数中出现了 , 因此预处理出每一个 存起来, 达到提高求解对偶问题速度的问题, 实际上就需要预处理求出 Gram 矩阵, 这是 Gram 矩阵在感知机中的作用.

2. 核函数与特征相似度: 在其他领域, 对于两个单位向量, 其余弦相似度等于两者的内积, 因此内积本身就可以作为一种相似度的度量, 于是 Gram 矩阵也与特征表示的相似性和样式分析相关。除此之外, 核函数也通常被表示为 Gram 矩阵, 这是因为核函数本身就是一种内积, 这在 SVM 中也能体现出来.

3. 风格迁移: 深度学习中经典的风格迁移大体流程是: (1) 准备基准图像和风格图像; (2) 使用深层网络分别提取基准图像（加白噪声）和风格图像的特征向量（或者说是特征图feature map）; (3)分别计算两个图像的特征向量的Gram矩阵，以两个图像的Gram矩阵的差异最小化为优化目标，不断调整基准图像，使风格不断接近目标风格图像.

研讨问题 5.7

（1）什么是拉格朗日函数的原始问题？（2）什么是拉格朗日函数的对偶问题？

给定一个凸优化问题: 其中 均为可微凸函数, 称其为原始问题 (Primal Problem).

然后引入拉格朗日函数 其中 为拉格朗日乘子.

现在将 看作常数, 变量为 , 且令 其中 表示下确界, 因此总有 , 于是若原问题的最优解为 , 就一定有 , 也就是说在满足某种条件下 的最大值应与 的最小值相等, 那么可以构造对偶问题(Dual Problem) 显然 也是凸函数, 则对偶问题也是一个凸优化问题, 设对偶问题的最优解为 , 则 , 这是弱对偶条件, 解存在时弱对偶条件总是成立的; 而 为强对偶条件, 当原问题与对偶问题满足强对偶条件时, 可以求解对偶问题来获得原问题的最优解.

然而强对偶条件不总是成立的, 只有当原问题满足 Slater 条件时, 原问题与对偶问题之间才满足强对偶条件, 幸运的是, 大多数凸优化问题都是满足 Slater 条件的, 这条件只需要保证原问题的可行域内存在子集使得不等式约束都不能取到等号即可.

研讨问题 5.47

核函数经过哪些运算组合后, 仍然是核函数?

对于核函数 , 下面的函数仍然是核函数:

3. 若核函数列 的极限存在, 则其极限 仍然是核函数.
7. 设 为一标量函数, 则 仍然是核函数.

研讨问题 6.6

批量学习和随机梯度下降法，有什么区别？

批量梯度下降法和随机梯度下降法基于梯度下降法, 均需要借助目标函数的梯度值来更新参数, 两者的主要区别为更新参数时选择的数据量的不同.

批量梯度下降法 (BGD) 每次更新需要使用所有的训练样本, 设训练样本总共有 个, 需要更新的参数为 , 则满足 其中每次迭代要花 的时间计算梯度, 当数据量非常大的时候, 迭代速度就会非常慢.

随机梯度下降法 (SGD) 在 BGD 的基础上改善了更新参数的方式, 由全部的样本改成了随机的一个样本, 也就是说更新方式为 那么每次迭代所需的时间就和样本数无关了. 然而由于 SGD 每次只能随机选择一个样本, 如果数据集中有噪声或者离群值, 将会导致迭代的方向不是朝着整体最优的方向.

在深度学习领域, 常用的优化器 SGD 并不是上文中的 SGD, 实际上应该称为 mini-Batch Gradient Descent 即 MBGD, 这是因为深度学习中对于大量的数据通常会将其分为 batch_size 个 batch, 而每次更新参数时随机选择某个批次的数据进行更新参数, 如下: 其中 的大小为 batch_size, 表示一个 batch 的数据的集合, batch_size 的大小通常形如 的形式, 比如 等. 这样看来, MBGD 实际上时 BGD 和 SGD 之中的一种折中的方式, 不仅避免了 SGD 迭代过程中的不稳定, 也防止由于数据集过大造成的迭代速度过慢, 但是要注意 batch_size 的设置需要合理.

研讨问题 7.14

什么是“交叉验证”（cross-validation）？

通常在对数据集进行划分时会加入随机因素, 那么某一次的结果可能就不是完全可信的, 于是交叉验证应运而生.

交叉验证需要在同一数据集同一模型下进行多次实验, 只是每次将数据集划分为训练集和测试集的样本不同. 最常用的交叉验证方法是 着交叉验证, 这种方法需要先将数据集 划分为 个子集满足 且 , 每个子集 都尽可能保持数据分布的一致性, 即从 中通过分层采样得到. 接着训练 次数, 每次用 个子集的并集作为训练集，余下的那个子集作为测试集；这样就可获得 组训练/测试集，从而可进行 次训练和测试，最终返回的是这 个测试结果的均值. 显然, 交叉验证法评估结果的稳定性和保真性在很大程度上取决于 的取值, 最常用的取值有 等.

当样本数较少时, 可令 , 为总的样本数, 那么就得到了一种特殊的交叉验证方式, 称为留一法. 那么留一法实际上并不受随机因素的影响, 所以往往认为它比其他的评估方法要准确一些. 留一法的最主要的缺陷就是在样本数比较大时, 训练次数会过多导致训练时间不可接受, 同时留一法不一定比其他评估方法准确.

研讨问题 8.2

使用 EM 算法进行鸢尾花分类的思想是什么？

EM 算法全称最大化期望算法, 它用来解决极大似然估计不能使用的场景, 这些场景下往往会出现隐变量.

EM 的一个重要应用场景是高斯混合模型的参数估计, 当它用在鸢尾花分类或者是其他任意一个分类问题上时, 就已经做了数据服从混合高斯分布的假定, 混合高斯分布时若干个高斯分布的加权求和, 如下 理论上高斯混合模型可以拟合任意类型的分布. 因此当假定数据符合混合高斯分布并估计该分布的参数时, 相当于是一种无监督学习方法, 因此就不需要知道鸢尾花的标签, 只需要知道有 3 类鸢尾花来确定混合高斯分布中有多少个高斯分布进行加权求和即可.

研讨问题 9.2

Parzen窗估计法的主要思想是什么？

Parzen 窗是一种经典的非参数估计方法, 能够描述多维数据的分布状态。基本思想是用一定范围内样本点的分布密度，对总体概率密度函数进行估计。

设有 个样本 , 且样本都在 中, 现在要估计其中一点 附近的概率密度 , 以 为中心作一个边长为 的超立方体 , 则该超立方体的体积为 .

那么落入 中的样本数为 其中 为 1 范数, 为示性函数. 那么 的概率密度函数的估计为 其中令 这就是窗函数, 又称为核函数.

上面的窗函数又被称为方窗函数即 , 除了方窗函数外, 还有下面的窗函数:

1. 高斯窗函数 .
2. 三角窗函数: .
3. Epanechnikov 窗函数: .