斯坦福大学机器学习公开课第二课监督学习的应用梯度下降法的程序练习

自适应滤波最陡梯度下降法matlab仿真绘制性能曲面和权值搜索路径

介绍了基于永磁同步电动机的弱磁控制调速系统,阐述了永磁同步电动机弱磁扩速的基本原理,常用方法及其优缺点。利用电压极限椭圆梯度下降法进行弱磁控制,对电流参考值进行了修正,并对修正电流参考值时的比例系数α、β进行了仿真分析。仿真结果表明,α、β取值可影响弱磁区域的动态性能,α的取值小于β的时候,动态性能较好。

两篇论文合并《An efficient orientation filter for inertial and inertial/magnetic sensor arrays》《Estimation of IMU and MARG orientation using a gradient descent algorithm》

针对机器学习中损失函数优化问题，引入梯度下降法及其变体算法，用迭代的方 式求解其近似最优解，采用梯度下降法最小化损失函数，在MATLAB等程序实现的基 础上进行研究。对线性回归模型、逻辑斯谛回归模型学习的梯度下降法及其变体算法 进行算例分析，通过比较算法的收敛速度与复杂度，得到了对不同的模型的应用实例， 需根据不同种类的数据集采用相对较好的优化算法。本文对梯度下降法在机器学习中 的应用进行研究，主要内容如下: 第一章:介绍了相关的机器学习算法的研究背景及研究进展，并且给出了本文的 主要结果。 第二章:主要介绍了本文研究使用到的理论基础知识。本章首先引入了最优化理 论、经典的优化算法梯度下降法及牛顿法，然后针对线性模型，做出原理解释和理论 阐述。最后讲述了逻辑斯谛回归模型的学习算法，包括推广的多项逻辑斯谛回归，为 下文的研究奠定了理论基础 第三章:本章首先利用最优化理论中经典的优化算法及线性模型，线性回归采用 均方误差形式的损失函数，采用最大化对数似然函数训练逻辑斯谛回归的损失函数。 通过对线性回归、逻辑斯谛回归模型学习的梯度下降算法进行算例分析，比较批量梯 度下降法与随机梯度下降法的收

m = 100000 x = np.random.normal(size = m) X = x.reshape(-1, 1) y = 4.0 * x + 3.0 + np.random.normal(0 ,3, size = m) 。。。

梯度下降法及NN的excel实现

BP神经网络梯度下降法，可预测输出，预测结果图形，预测误差图形

这个阶段一直在做和梯度一类算法相关的东西，索性在这儿做个汇总， 一、算法论述 梯度下降法(gradient  descent)别名最速下降法（曾经我以为这是两个不同的算法-.-）,是用来求解无约束最优化问题的一种常用算法。下面以求解线性回归为题来叙述： 设：一般的线性回归方程（拟合函数）为：（其中的值为1）    则这一组向量参数选择的好与坏就需要一个机制来评估，据此我们提出了其损失函数为(选择均方误差)： 我们现在的目的就是使得损失函数取得最小值，即目标函数为： 如果的值取到了0，意味着我们构造出了极好的拟合函数，也即选择出了最好的值，但这基本是达不到的，我们只能使得其无限的接近于0，当

使用随机梯度下降法解决无约束优化问题。