山东大学软件学院高级机器学习（硕士）复习纲要 本资源摘要信息涵盖了机器学习的基本概念、分类、模型选择、学习准则、优化算法、过拟合和欠拟合、回归学习、KNN 算法和 SVM 算法等知识点。 1. 机器学习的概念和分类 机器学习是人工智能的一个分支，它专注于开发算法和技术，使得计算机系统模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习可以按照学习形式、函数不同、学习准则不同等方式进行分类。 2. 机器学习的过程 机器学习的过程包括模型问题分析、模型选择、模型训练/参数优化、学习准则定义和优化算法等步骤。在模型问题分析阶段，需要明确问题和目标，确定想要机器学习模型来解决的具体问题。然后，选择合适的机器学习模型，并使用训练数据来训练模型。定义学习准则，使用优化算法来找到最优的模型。 3. 过拟合和欠拟合 过拟合是指模型太复杂，以至于过度学习训练数据中的细节和噪声，以至于它在新数据上表现不佳。解决方法包括减少模型复杂度、正则化、特征工程和早停等。欠拟合是指模型太过简单，以至于无法捕捉到数据中的基本结构和模式，不能很好地适应训练集。解决方法包括增加模型复杂度、减少正则化、特征工程和更长时间训练等。 4. 回归学习 回归学习是指通过建立输入与输出之间的关系模型，对新输入数据做出预测。常见的回归模型包括线性回归、岭回归、套索回归、弹性网络回归、多项式回归等。在选择模型时，需要考虑数据的性质、模型的复杂度、正则化、性能评估等因素。 5. KNN 算法 KNN 算法是一种简单直观的分类算法，思路是对于一个给定的测试样本，算法在训练集中找出距离最近的K个邻居，然后根据这些邻居的信息来预测测试样本的标签。KNN 算法的特点包括简单直观、不需要训练阶段、懒惰学习、适用于多分类问题等。影响 KNN 算法性能的主要因素包括 K 值的选择、距离度量、维度和数据的质量和样本分布等。 6. SVM 算法 SVM 算法是一种优化思想的算法，目标是找到一个最优的超平面，使得不同类别的数据之间的间隔最大化。在处理非线性问题时，SVM 算法会使用核函数，将数据映射到更高维空间以找到合适的分割超平面。SVM 算法的实现过程包括选择合适的核函数、构建并解决一个优化问题等步骤。

CudaLearn C# 中的高级机器学习算法 机器学习是人工智能的一个分支，专注于识别数据中的模式和规律。 在许多情况下，这些模式是从标记的“训练”数据（监督学习）中学习的，但是当没有可用的标记数据时，可以使用其他算法来发现以前未知的模式（无监督学习）。 大多数高性能机器学习算法都是用 C++ 或 Python 编写的。 其他如 Apache Mahout 使用 Hadoop 在整个集群中分配训练模型的成本。 CudaLearn 采用混合方法。 在需要高性能的地方，我们遵循 C++/Python 路线，通过 GPU 加速计算实现垂直可扩展性，并旨在将这种计算分布在整个集群中。 这种方法还利用算法在计算复杂度方面的不对称性，CPU 实现将可用于计算需求较低的阶段。 第一个版本将包含： 深度学习算法卷积神经网络 (CNN) 使用 CUDA 内核支持 GPU 加速。 将来： 深度

Rubix ML：PHP的机器学习一个用于PHP语言的高级机器学习和深度学习库。 开发人员友好的API易于使用且令人愉悦模块化体系结构结合了功能，灵活性和Rubix ML：PHP的机器学习一个适用于PHP语言的高级机器学习和深度学习库。 开发人员友好的API易于使用且令人愉悦模块化体系结构结合了功能，灵活性和可扩展性40多种现代有监督和无监督的学习算法开源，可免费商业使用安装使用Composer将Rubix ML安装到您的项目中：$ composer需要rubix / ml要求PHP 7.2或以上可选Tensor extensi

山东大学软件学院2021-2022研究生高级机器学习

智能电网是人工智能( artificial intelligence，AI) 的重要应用领域之一，以高级机器学习理论、大数据、云计算为主要代表的新一代人工智能( new generation artificial intelligence，NGAI) 技术的进步和突破，将会促进智能电网的发展。首先概述AI 的主要方法，并对NGAI 的内涵、特点与技术体系进行论述。之后，对NGAI 在能源供应、电力系 统安全与控制、运维与故障诊断、电力需求和电力市场等领域中的最新应用研究情况进行比较系统的综述。最后，总结NGAI 在智能电网中应用的关键问题，提出人工智能在智能电网中的应用可分为三阶段实施的建议

南京大学李宇峰老师在2021年开设的高级学习课程，以周志华老师西瓜书为教材，讲述了从模型选择、到强化学习等高级机器学习主题，可供学习参考。 目录内容： Lecture 1: Basic info for the course [Slide] Introduction [Slide] Lecture 2: Model selection [Slide] Lecture 3: Linear Model [Slide] Support Vector Machine [Slide] Neural Network [Slide] Decision Tree [Slide] Bayesian Model [Slide] Lecture 4: Ensemble Learning [Slide] Lecture 5: Clustering [Slide] Lecture 6: Dimension Reduction [Slide] Lecture 7: Feature Selection [Slide] Lecture 8: Semi-Supervised Learning [Slide] Lecture 9: Multi-Label Learning* [Slide] Lecture 10: Graphical Model [Slide] Lecture 11: Reinforcement Learning [Slide] 《机器学习》（西瓜书） 1-10章和11章之后的区别 • 1-10章，主要介绍了机器学习基本原理和经典 模型（机器学习是有理论基础，有直觉原理的） • 11章后，开始涉及复杂学习模型，应对复杂现 实数据问题（现实世界问题是复杂的）

压缩包里面有高级机器学习期末考题以及整理的复习资料

2021清华大学《高级机器学习》课件和报告_高级机器学习和专家报告