Yann
人工智能、计算机、机器学习、linux、程序员
Convex Optimization-12
简约梯度法的基本思想是由Wolfe在1962年作为线性规划单纯形方法的推广而提出来的。简约梯度法对于大规模线性约束的非线性规划问题是最好的，且在大规模带非线性约束的最优化问题的数值实验中也取得了相当的成功，是是当前世界上很流行的约束最优化算法之一。
简约梯度法是可行方向方法的代表。但一般的可行方向法，对于带非线性约束的问题求解效果并不理想，这是因为当迭代点进入可行域的边界会，如何让他在“非线性”的边界上继续进行有效的移动就很困难，回避这一困难的另一类求解（MP）问题的方法就是增广目标函数法。这类方法的特点是利用问题的目标函数与约束函数的某种组合构造出所谓的增广目标函数，从而吧约束优化问题转换成相应的增广目标函数的无约束优化问题。对无约束问题，我们用解析法就很容易处理了。下面我介绍利用所谓的惩罚函数来构造增广目标函数的方法。
