高等教育出版社，研究生教学用书，这本书讲的还是比较细致的。

本文详细推导了高斯牛顿算法，从代数以及矩阵的角度，以及二范数下的高斯牛顿，最小二乘和的高斯牛顿等等。

无约束非线性最优化问题 求解无约束最优化问题的方法主要有两类，即直接搜索法和梯度法。 直接搜索法适用于目标函数高度非线性，没有导数或导数很难计算的情况。常用的直接搜索法为单纯形法，此外还有Hooke-Jeeves搜索法、Pavell共轭方向法等。 在函数的导数可求的情况下，梯度法是一种更优的方法。常见的梯度法有最速下降法、Newton法、Marquart法、共轭梯度法和拟牛顿法等。 MATLAB优化工具箱中用于求解无约束非线性规划问题的函数有fminunc和fminsearch。

有约束非线性最优化问题 有约束非线性最优化问题的数学模型为 其中，x, b, beq, lb,和ub为矢量，A和Aeq为矩阵，c(x)和ceq(x)为函数，返回标量。f (x), c(x), 和 ceq(x)可以是非线性函数。 利用fmincon函数求多变量有约束非线性函数的最小值。

本软件基于自适应细菌觅食算法，实现多维目标函数的最优值的快速选取。软件的主要功能包括优化算法参数的设置、目标函数的定义、优化结果显示设置，提供了优化结果的图形可视化显示和数据报表两种显示方法、数据的导入导出、系统帮助等功能。本软件具有使用简单、优化结果直观、优化速度快、优化精度高的特点，为工程应用提供了实用的设计工具。 开发环境 硬件环境：PC机 操作系统：Window 10 编程语言：MATLAB R2019a

实际工程的优化设计问题：非线性约束优化问题 优化设计问题的类型 线性规划问题 优化问题的目标函数和约束函数都是设计变量的线性函数 非线性规划问题 目标函数和约束函数不全是设计变量的线性函数 函数与变量间的关系 无约束优化问题 只有目标函数而无约束条件的优化问题 约束优化问题 有约束条件的优化问题 有无约束条件

用牛顿-拉格朗日法求解约束优化问题，% min f(x) s.t. h_i(x)=0, i=1,..., l. %输入: x0是初始点, mu0是乘子向量的初始值 %输出: x, mu 分别是近似最优点及相应的乘子, % val是最优值, mh是约束函数的模, k是迭代次数. maxk=200; %最大迭代次数

惩罚函数法在模拟退火算法求解非线性约束优化问题中的应用，陈思源，，本文首先介绍了模拟退火算法和惩罚函数法的基本原理和方法，然后将其结合成求解非线性约束优化问题的算法。在Matlab语言环境下编制

本书主要是提供非线性的优化方法，主要是研究生用于学习使用，为机器学习使用者提供资源，仅以学习交流为目的！希望能够给工科研究生提供帮助！

经典遗传算法(SGA)解非线性最优化问题的原理及其python代码实现