Apr, 2024
基于拉格朗日法的非平滑非凸优化方法的开发
Developing Lagrangian-based Methods for Nonsmooth Nonconvex Optimization
TL;DR本文中我们考虑在闭凸子集上最小化一个非光滑非凸的目标函数$f(x)$，同时满足附加的非光滑非凸约束$c(x) = 0$。我们开发了一个统一的框架来发展基于Lagrangian的方法，在每次迭代中通过某些子梯度方法对原始变量进行单步更新。这些子梯度方法被“嵌入”到我们的框架中，以黑盒更新原始变量的方式加以合并。我们证明了在温和条件下，我们提出的框架继承了这些嵌入子梯度方法的全局收敛性保证。此外，我们证明了我们的框架可以扩展到解决具有期望约束的约束优化问题。基于我们提出的框架，我们展示了一系列现有的随机子梯度方法，包括proximal SGD、proximal momentum SGD和proximal ADAM，可以嵌入到基于Lagrangian的方法中。对深度学习任务的初步数值实验表明，我们提出的框架可以为非凸非光滑约束优化问题提供高效的Lagrangian-based方法变体，并具有收敛性保证。