点击联系发帖人- 对于无约束极值问题，可以采用解析方法和直接方法两种方法，而直接方法其求解的典型思想就是下降法，具体包括最速下降法，Newton法，共轭方向法和共轭梯度法，拟Newton法，Powell方向加速法等。
（1）精确解求解方法：①等式约束问题：可以采用拉格朗日乘子法进行求解；②不等式约束问题：一方面，可以采用广义拉格朗日乘子法进行求解（也就是KTT条件）；另一方面可以采用制约函数方法进行求解（其中制约函数方法包含有内点法和外点法两种）；
（2）智能优化算法：对于约束问题，也可以采用智能优化算法：模拟退火，遗传算法，类免疫算法，演化策略，神经网络，支持向量机等。其实对于无约束优化问题也是可以采取智能优化算法的，只不过一般还是用在约束极值问题的求解过程中。
等式约束问题的主要形式为：
对于等式约束问题的求解，最主要的方法是拉格朗日乘子法。可以通过微积分来得到关于导函数的一些性质。
具体的解法就是设置拉格朗日乘乘子：
需要注意的是拉格朗日求得的解可能是鞍点，也可能是极值点，具体判断要用到如下的二阶充分条件。
在满足一阶必要条件的前提下，要判断所得的可能极值点到底是不是极值点，就要用到二阶充分判断条件：若函数关于x的Hesse矩阵在约束超曲面的切平面上正定，则x就是严格局部极小点。
KKT条件是约束的最优化问题的最优性条件。主要从可行下降方向、等研究；
①下降方向：在最优化求解过程中，可以使用某种逼近的方法，如梯度下降法等等。那么使得目标函数f(x)变小的方向P即为下降方向。由于梯度的反方向梯度下降最快的方向，可得下降方向P需要满足的是P* <0，则P是一个下降方向。（保证下降方向与梯度方向在一个切平面上）
②可行方向：一般而言，目标函数要在可行域允许的范围内求解，那么方向要在可行方向内，则称为可行方向。既满足P*>0;表示可行的梯度。
③可行下降方向：满足可行且下降的方向来寻找优化函数值的不断降低，也就是要求得可行下降方向。即满足下面的两个条件（可行方向且下降方向）
下降方向集合写作S，可行方向集合写作G，如下：
如果当前点是最优点，应该是无处可去的，也就是没有可行下降方向，也就是
下面均从《运筹学》教材中获取
