本研究提出了一种改进的不精确增广拉格朗日方法（iALM），并通过统一分析证明了针对具有线性等式或非凸约束的非凸问题的 iALM 的高效性，该算法在实践中比罚函数方法表现显著更好。我们的数值实验验证了所提出的方法的有效性，具有重要的理论和实践意义。

Jul, 2020

本文提出和建立了一种非精确的近端加速增广 Lagrange (IPAAL) 方法，用于解决线性约束平滑非凸复合优化问题的迭代复杂度，并证明了 IPAAL 方法在大多数 ACG 迭代中产生一个近似稳定解决方案。

Jun, 2020

本文提出了一种基于 Moreau 包络的增广 Lagrange 方法（MEAL）来解决具有非凸（弱凸）并且非光滑目标的线性约束问题，证明其收敛性，并提出两种实际变体 iMEAL 和 LiMEAL 以解决子问题无解析解且难以求解的约束问题。

Jan, 2021

分析了 Proximal augmented Lagrangian 模型在具有非线性等式约束的非凸优化问题中的最坏情况复杂度，研究了当使用 Newton 共轭梯度算法来解决子问题时的总迭代复杂度和操作复杂度，并探讨了一种自适应方案来确定满足分析要求的参数 c。

Jul, 2019

本文提出了一种名为 ALAVI 的增广 Lagrangian 原始 - 对偶方法，用于解决带有凸锥约束的非单调（混合）变分不等式模型，并证明了该方法的收敛性和全局收敛速率以及具有单调映射时的加速收敛速率，同时进行了大量的数值实验以证明方法的实用性。

Jun, 2023

本文提出了两种针对带约束凸问题的一阶方法，分别使用增广拉格朗日方法和单一近端梯度步进行变量更新，并证明了它们的全局和局部收敛性。数值实验验证了理论结果与实际表现的一致性。

Nov, 2017

提出了一个在分散优化设置下设计原始方法的框架，该框架适用于局部函数光滑且强凸。通过近似解决由加速增广拉格朗日方法引起的一系列子问题，从而提供了一种演导出几个著名的分散算法的系统方法。当与加速梯度下降相结合时，我们的框架会产生一种新的原始算法，其收敛速度是最优的，并且与最近确定的下限相匹配。我们提供实验结果，证明了拟议算法在高度病态问题上的有效性。

Jun, 2020

给出了一种用于解决具有弱凸目标和凸线性 / 非线性约束问题的阻尼近端增广 Lagrange 方法（DPALM）。通过采用阻尼对偶步长而不是全步长，确保对偶迭代的有界性。如果每个 DPALM 子问题解到适当的精度，则 DPALM 可以在 O (ε^{-2}) 的外部迭代中产生一个近似 ε-KKT 点。此外，我们在目标函数为正则化平滑函数或正则化构成形式的情况下建立了 DPALM 的整体迭代复杂性。对于前一种情况，通过将加速近端梯度（APG）方法应用于每个 DPALM 子问题，DPALM 实现了复杂度为 Τ(ε^{-2.5})，从而产生一个 ε-KKT 点。对于后一种情况，通过使用 APG 来解决每个子问题的 Moreau 包络平滑版本，DPALM 的复杂度为 O (~ε^{-3})，从而得到一个近似 ε-KKT 点。我们的外部迭代复杂性和整体复杂性要么推广了现有的无约束或线性约束问题的最佳结果到凸约束问题，要么改进了解决相同结构问题的已知最佳结果。此外，通过在线性 / 二次约束的非凸二次规划和线性约束的鲁棒非线性最小二乘上进行数值实验，展示了所提出的 DPALM 方法在效率上超过了几种最先进的方法。

Nov, 2023

本篇研究开发了一种自适应的非精确牛顿法，通过使用随机迭代草图求解器不精确地求解拉格朗日牛顿系统，并在精确增广拉格朗日优势函数上执行线搜索以选择适当的步长，以控制随机求解器的精度和惩罚参数，以确保不精确的牛顿方向是精确增广拉格朗日的下降方向，从而全局近乎确定地收敛，并表明在本地可采用单位步长，因此该方法表现出局部线性收敛。

May, 2023

采用增广 Lagrange 方法（ALM）解决前向和反向问题，为了进一步提高计算效率和节省计算成本，采用小批量训练。

Jun, 2023