PCA降维算法讲义ppt slides

主成分分析（PCA）降维算法是机器学习和统计学中一种常用的数据降维技术，它通过正交变换将可能相关的变量转换为一组线性不相关的变量，这些新变量称为主成分。PCA的目的是降低数据的维度，同时尽可能保留数据中的变异信息。 PCA的动机通常来源于现实世界数据的一个特点，即数据点往往位于与原始数据空间相比维数更低的流形上。例如，一张脸的图片可能由成千上万个像素点组成，但是这些像素点之间存在很强的相关性，可能实际上是由一个人脸的有限个特征维度决定的。PCA的目标之一就是找到这些内在的、隐藏的特征维度，即“内在潜在维度”，并用尽可能少的主成分来描述数据集。 连续潜在变量模型是指那些以连续因素来控制我们观察到的数据的模型。与之相对的是拥有离散潜在变量的模型，如高斯混合模型（Gaussian Mixture Models）。连续潜在变量模型的训练通常被称为降维，因为潜在维度通常比观测维度少得多。 在进行PCA时，首先通常会进行数据标准化处理，使得每个特征的平均值为0，方差为1。这是因为PCA对数据的尺度敏感，如果某个特征的尺度很大，它将对主成分有很大影响，这可能不是我们所期望的。 接下来，计算数据的协方差矩阵，这能够反映数据特征间的相关性。然后，找出协方差矩阵的特征向量和对应的特征值。特征值表明了数据在对应特征向量方向上的方差大小，而特征向量则是主成分的方向。根据特征值的大小，将特征向量按照解释方差的能力排序，最大的特征值对应的特征向量是最重要的一维主成分，接下来的以此类推。 在标准的PCA分析中，我们通常选取最大的几个特征值对应的特征向量作为主成分，以此构建低维空间，把原始数据投影到这个新空间中。在降维的过程中，会丢失一些信息，但通常能够保留数据最重要的结构特性。 除了标准PCA，还存在其概率形式，即概率主成分分析（Probabilistic PCA），它假定潜在变量和观测变量都是高斯分布的。概率形式的PCA可以使用期望最大化（EM）算法来进行参数估计，同时还衍生出了混合PCA和贝叶斯PCA等变体。 概率PCA的优点在于其模型的灵活性，比如可以更容易地处理缺失数据、引入先验知识等。此外，概率PCA提供了一个统计框架来评估数据降维的不确定性，这在很多实际应用中非常有用。 另外，PCA在实际应用中也存在一些局限性。例如，PCA假设主成分是正交的，这意味着主成分之间的相关性为零。但在某些情况下，我们可能希望降维后的数据能够保留原始数据中某些变量间的相关性，这种情况下，PCA可能不是最佳选择。此外，PCA对异常值较为敏感，因为PCA的主成分是基于数据的整体分布来确定的，异常值可能会影响主成分的正确识别。 总而言之，PCA降维算法是一种强大的工具，它在数据压缩、可视化、特征提取以及降维等领域应用广泛。其核心目标是通过线性变换将高维数据转换到由主成分构成的低维空间，同时尽量保留原始数据的结构特征。通过理解和掌握PCA算法，可以对数据进行有效的处理和分析。