本文提出了一种基于 Moreau 包络的增广 Lagrange 方法（MEAL）来解决具有非凸（弱凸）并且非光滑目标的线性约束问题，证明其收敛性，并提出两种实际变体 iMEAL 和 LiMEAL 以解决子问题无解析解且难以求解的约束问题。

Jan, 2021

本文分析了交替方向乘子法（ADMM）在非凸优化中的收敛性，并提供了针对特定情形的收敛保证。同时，通过例子和分析，本文表明 ADMM 有望比增广拉格朗日方法（ALM）更适用于某些非凸非光滑问题。

Nov, 2015

本文提出了一种基于 ADMM 算法的方法，可以用于解决包含多元仿射约束条件及非凸、非光滑目标函数的优化问题，并证明在满足特定条件下，该方法可以收敛于受约束的稳定点解集合，且在 Kurdyka-Lojasiewicz 性质成立的情况下，可进一步收敛于单个受约束的稳定点。作者应用该方法解决了矩阵分解、风险均衡投资组合优化、凸优化问题的非凸化以及神经网络训练等问题，并证明算法子问题可以有封闭式解。

Feb, 2018

本文针对图像科学中广泛使用的一类优化问题，基于 ADMM 算法，通过使用通用的双重步长方法、构建特殊的潜函数以及采用简单的初始化策略实现了非凸优化问题全局收敛和解决，并在实际应用中进行了比较实验，表明最优化效果良好。

Jun, 2015

在对抗性机器学习中，神经网络面临着一个重要问题，即强鲁棒性测试精度随时间降低。我们提出了 Moreau 包络 -$\mathcal {A}$，一个新方法来解决这个问题，通过引入 Moreau 包络函数，将原始问题重新构建为极小 - 极小问题，并通过解决内外两个最小化问题来实现统一稳定性，而无需额外的计算开销。在实际场景中，我们展示了 ME-$\mathcal {A}$ 在减轻强鲁棒性过拟合问题方面的有效性。除了在对抗性训练中的应用，这也是统一稳定性分析的一个基本结果，作为第一个在弱凸、非光滑问题上表现出统一稳定性的算法。

May, 2024

本文提出了一种使用不确定的近似项的 ADMM 算法，以解决包含非光滑和光滑凸函数和线性约束的二块凸优化问题，并通过理论和数值实验证明了其全局收敛性和收敛速度。

Dec, 2014

该研究分析了 ADMM 算法在解决一些非凸共识和共享问题时的收敛性，发现当增广拉格朗日乘数的惩罚参数足够大时，经典 ADMM 算法会收敛到静止解的集合。对于共享问题，我们发现 ADMM 无论变量块的数量如何，都是收敛的。该分析不对算法生成的迭代强加任何假设，并且广泛适用于涉及近端更新规则和各种灵活的块选择规则的 ADMM 变体。

Oct, 2014

该研究提出了基于 Langevin Monte Carlo 的高效采样算法，针对由连续可微函数和非光滑函数组成的凸结合势函数进行采样。该算法利用了凸分析和优化方法中 Bregman 散度的最新进展，并将 Langevin Monte Carlo 算法延伸到与镜像下降相关的非光滑分布采样和 Bregman - Moreau 包络的更一般使用。

Jul, 2022

该研究设计了一种利用凸差算法基于价值函数法的重要双层规划算法， 以解决与超参数选择相关的应用问题，提出了在满足弱凸度假设的情况下根据下层问题 Moreau envelope 的差分弱凸规划改进措施，并验证了其有效性。

Jun, 2023

本文为非凸优化问题提供一种广泛适用的解决方法，即交替方向乘子法（ADMM），并研究了其在不同领域的实用性，包括线性回归、图像降噪、相位恢复及特征向量计算， 最近从提出的自适应 ADMM 方法可以通过自动调整惩罚参数来提高算法效率和解决质量 compared to ADMM with a non-tuned penalty。

Dec, 2016