Jan, 2021

具有线性约束的非凸优化问题的 Moreau 包络增广 Lagrangian 方法

PDF
TL;DR本文提出了一种基于 Moreau 包络的增广 Lagrange 方法（MEAL）来解决具有非凸（弱凸）并且非光滑目标的线性约束问题，证明其收敛性，并提出两种实际变体 iMEAL 和 LiMEAL 以解决子问题无解析解且难以求解的约束问题。
augmented lagrangian methodconstrained optimizationnonconvex objectivemoreau envelopeconvergence
发现论文，激发创造
  • 非凸优化及非线性约束问题的不精确增广 Lagrangian 框架

    本研究提出了一种实用的不精确增广拉格朗日方法（iALM）用于具有非凸问题和非线性约束，这种方法可以在计算复杂度上符合理论结果。

    Jun, 2019

  • 约束非凸优化的提速不精确增广拉格朗日方法

    本研究提出了一种改进的不精确增广拉格朗日方法（iALM），并通过统一分析证明了针对具有线性等式或非凸约束的非凸问题的 iALM 的高效性，该算法在实践中比罚函数方法表现显著更好。我们的数值实验验证了所提出的方法的有效性，具有重要的理论和实践意义。

    Jul, 2020

  • 去中心化弱凸优化的 Moreau 包络 ADMM

    本文提出了一种分布式优化的交替方向乘子法 (ADMM) 的近似变体，通过使用 Moreau 包络函数的分析，证明了该方法可以在温和条件下收敛到一个稳定点，并且经过数值实验表明它比广泛使用的方法更快、更健壮。

    Aug, 2023

  • 非凸双层优化的 Moreau 包络：一种单循环且无 Hessian 的解决策略

    该研究聚焦于解决大规模非凸双层优化问题中的两个主要挑战，即确保计算效率和提供理论保证，并通过引入一种创新的基于梯度的单循环算法、利用 Moreau 包络重构以及针对一般非凸双层优化问题提供的非渐进收敛分析，同时解决计算和理论挑战。该算法仅依赖一阶梯度信息，增强了其实用性和效率，特别适用于大规模双层优化学习任务，并通过在各种合成问题、两个典型超参数学习任务和一个真实的神经架构搜索应用上的实验证实了其卓越性能。

    May, 2024

  • Bregman--Moreau 包络下的 Bregman 近端 Langevin Monte Carlo

    该研究提出了基于 Langevin Monte Carlo 的高效采样算法，针对由连续可微函数和非光滑函数组成的凸结合势函数进行采样。该算法利用了凸分析和优化方法中 Bregman 散度的最新进展，并将 Langevin Monte Carlo 算法延伸到与镜像下降相关的非光滑分布采样和 Bregman - Moreau 包络的更一般使用。

    Jul, 2022

  • 锥约束非单调变分不等式问题的增广 Lagrangian 方法

    本文提出了一种名为 ALAVI 的增广 Lagrangian 原始 - 对偶方法，用于解决带有凸锥约束的非单调（混合）变分不等式模型，并证明了该方法的收敛性和全局收敛速率以及具有单调映射时的加速收敛速率，同时进行了大量的数值实验以证明方法的实用性。

    Jun, 2023

  • LQR 元策略估计的 Moreau 包络方法

    基于不确定动态系统的有限实现集，我们提出了一种基于 Moreau 包络的代理 LQR 成本方法，以定义一种能够高效适应新实现的元策略，并设计了一种算法来寻找元 LQR 成本函数的近似一阶稳定点。数值结果表明，所提出的方法在新的线性系统实现上优于简单平均控制器。我们还提供了经验证据表明，我们的方法具有比模型无关元学习（MAML）方法更好的样本复杂度。

    Mar, 2024

  • 基于莫罗包络的弱凸差分重构和双层规划算法

    该研究设计了一种利用凸差算法基于价值函数法的重要双层规划算法， 以解决与超参数选择相关的应用问题，提出了在满足弱凸度假设的情况下根据下层问题 Moreau envelope 的差分弱凸规划改进措施，并验证了其有效性。

    Jun, 2023

  • 对抗训练及更多领域中的均匀稳定算法

    在对抗性机器学习中，神经网络面临着一个重要问题，即强鲁棒性测试精度随时间降低。我们提出了 Moreau 包络 -$\mathcal {A}$，一个新方法来解决这个问题，通过引入 Moreau 包络函数，将原始问题重新构建为极小 - 极小问题，并通过解决内外两个最小化问题来实现统一稳定性，而无需额外的计算开销。在实际场景中，我们展示了 ME-$\mathcal {A}$ 在减轻强鲁棒性过拟合问题方面的有效性。除了在对抗性训练中的应用，这也是统一稳定性分析的一个基本结果，作为第一个在弱凸、非光滑问题上表现出统一稳定性的算法。

    May, 2024

  • 一个自适应增广拉格朗日方法用于训练具有物理约束和平等约束的人工神经网络

    采用增广 Lagrange 方法（ALM）解决前向和反向问题，为了进一步提高计算效率和节省计算成本，采用小批量训练。

    Jun, 2023