Nov, 2023
阻尼增广拉格朗日方法用于具有凸约束的弱凸问题
Damped Proximal Augmented Lagrangian Method for weakly-Convex Problems
with Convex Constraints
TL;DR给出了一种用于解决具有弱凸目标和凸线性/非线性约束问题的阻尼近端增广Lagrange方法（DPALM）。通过采用阻尼对偶步长而不是全步长，确保对偶迭代的有界性。如果每个DPALM子问题解到适当的精度，则DPALM可以在O(ε^{-2})的外部迭代中产生一个近似ε-KKT点。此外，我们在目标函数为正则化平滑函数或正则化构成形式的情况下建立了DPALM的整体迭代复杂性。对于前一种情况，通过将加速近端梯度（APG）方法应用于每个DPALM子问题，DPALM实现了复杂度为Τ(ε^{-2.5})，从而产生一个ε-KKT点。对于后一种情况，通过使用APG来解决每个子问题的Moreau包络平滑版本，DPALM的复杂度为O(~ε^{-3})，从而得到一个近似ε-KKT点。我们的外部迭代复杂性和整体复杂性要么推广了现有的无约束或线性约束问题的最佳结果到凸约束问题，要么改进了解决相同结构问题的已知最佳结果。此外，通过在线性/二次约束的非凸二次规划和线性约束的鲁棒非线性最小二乘上进行数值实验，展示了所提出的DPALM方法在效率上超过了几种最先进的方法。