山东大学软件学院 高级机器学习（硕士）复习纲要

山东大学软件学院高级机器学习（硕士）复习纲要 本资源摘要信息涵盖了机器学习的基本概念、分类、模型选择、学习准则、优化算法、过拟合和欠拟合、回归学习、KNN 算法和 SVM 算法等知识点。 1. 机器学习的概念和分类 机器学习是人工智能的一个分支，它专注于开发算法和技术，使得计算机系统模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习可以按照学习形式、函数不同、学习准则不同等方式进行分类。 2. 机器学习的过程 机器学习的过程包括模型问题分析、模型选择、模型训练/参数优化、学习准则定义和优化算法等步骤。在模型问题分析阶段，需要明确问题和目标，确定想要机器学习模型来解决的具体问题。然后，选择合适的机器学习模型，并使用训练数据来训练模型。定义学习准则，使用优化算法来找到最优的模型。 3. 过拟合和欠拟合 过拟合是指模型太复杂，以至于过度学习训练数据中的细节和噪声，以至于它在新数据上表现不佳。解决方法包括减少模型复杂度、正则化、特征工程和早停等。欠拟合是指模型太过简单，以至于无法捕捉到数据中的基本结构和模式，不能很好地适应训练集。解决方法包括增加模型复杂度、减少正则化、特征工程和更长时间训练等。 4. 回归学习 回归学习是指通过建立输入与输出之间的关系模型，对新输入数据做出预测。常见的回归模型包括线性回归、岭回归、套索回归、弹性网络回归、多项式回归等。在选择模型时，需要考虑数据的性质、模型的复杂度、正则化、性能评估等因素。 5. KNN 算法 KNN 算法是一种简单直观的分类算法，思路是对于一个给定的测试样本，算法在训练集中找出距离最近的K个邻居，然后根据这些邻居的信息来预测测试样本的标签。KNN 算法的特点包括简单直观、不需要训练阶段、懒惰学习、适用于多分类问题等。影响 KNN 算法性能的主要因素包括 K 值的选择、距离度量、维度和数据的质量和样本分布等。 6. SVM 算法 SVM 算法是一种优化思想的算法，目标是找到一个最优的超平面，使得不同类别的数据之间的间隔最大化。在处理非线性问题时，SVM 算法会使用核函数，将数据映射到更高维空间以找到合适的分割超平面。SVM 算法的实现过程包括选择合适的核函数、构建并解决一个优化问题等步骤。