ICMLMay, 2024

非凸双层优化的 Moreau 包络：一种单循环且无 Hessian 的解决策略

PDF
TL;DR该研究聚焦于解决大规模非凸双层优化问题中的两个主要挑战，即确保计算效率和提供理论保证，并通过引入一种创新的基于梯度的单循环算法、利用 Moreau 包络重构以及针对一般非凸双层优化问题提供的非渐进收敛分析，同时解决计算和理论挑战。该算法仅依赖一阶梯度信息，增强了其实用性和效率，特别适用于大规模双层优化学习任务，并通过在各种合成问题、两个典型超参数学习任务和一个真实的神经架构搜索应用上的实验证实了其卓越性能。
发现论文，激发创造
  • 基于莫罗包络的弱凸差分重构和双层规划算法

    该研究设计了一种利用凸差算法基于价值函数法的重要双层规划算法， 以解决与超参数选择相关的应用问题，提出了在满足弱凸度假设的情况下根据下层问题 Moreau envelope 的差分弱凸规划改进措施，并验证了其有效性。

    Jun, 2023

  • 具有线性约束的非凸优化问题的 Moreau 包络增广 Lagrangian 方法

    本文提出了一种基于 Moreau 包络的增广 Lagrange 方法（MEAL）来解决具有非凸（弱凸）并且非光滑目标的线性约束问题，证明其收敛性，并提出两种实际变体 iMEAL 和 LiMEAL 以解决子问题无解析解且难以求解的约束问题。

    Jan, 2021

  • 去中心化弱凸优化的 Moreau 包络 ADMM

    本文提出了一种分布式优化的交替方向乘子法 (ADMM) 的近似变体，通过使用 Moreau 包络函数的分析，证明了该方法可以在温和条件下收敛到一个稳定点，并且经过数值实验表明它比广泛使用的方法更快、更健壮。

    Aug, 2023

  • 受约束的双层优化：近端拉格朗日值函数方法与无 Hessian 算法

    针对一类具有上下级变量耦合的约束双层优化问题，本研究提出了一种新的方法和算法。通过设计平滑的近端 Lagrangian 值函数来处理约束的下层问题，并将原始问题转化为具有平滑约束的等价优化问题，从而实现了一种适用于机器学习应用的基于近端 Lagrangian 值函数的非 Hessian 梯度算法。此外，还针对 LV-HBA 进行了收敛性分析，不需要对下层问题进行传统的强凸性假设，并且能够处理非单例情况。实证结果验证了该算法在实际性能上的优越性。

    Jan, 2024

  • Bregman--Moreau 包络下的 Bregman 近端 Langevin Monte Carlo

    该研究提出了基于 Langevin Monte Carlo 的高效采样算法，针对由连续可微函数和非光滑函数组成的凸结合势函数进行采样。该算法利用了凸分析和优化方法中 Bregman 散度的最新进展，并将 Langevin Monte Carlo 算法延伸到与镜像下降相关的非光滑分布采样和 Bregman - Moreau 包络的更一般使用。

    Jul, 2022

  • 应用于多任务深度 AUC 最大化的多块最小 - 最大二级优化

    本文探讨了多块最小最大双层优化问题，提出了一种单循环随机算法，其样本复杂性为 O（1/ϵ^4），应用于多任务深度 AUC 最大化和多任务深度局部 AUC 最大化。

    Jun, 2022

  • 利用 Moreau-Yosida 正则化稳定双层超参数优化

    本研究提出了使用 Moreau-Yosida 包络来稳定双层超参数优化求解器的收敛行为，并引入了名为 Moreau-Yosida 正则化超参数优化（MY-HPO）算法的新算法。该文还对 MY-HPO 解的正确性和初始收敛性分析进行了理论分析。实证结果表明与最先进的双层 HPO 求解器相比，对于固定的计算预算，我们的算法在损失值上实现了显着改进。

    Jul, 2020

  • 随机偏差减小梯度法

    本文提出一种新的随机优化原理，即使用 Blanchet 和 Glynn 的多级 Monte-Carlo 方法将任何最优随机梯度方法转换为 $x_*$ 的估计量，以此为基础获得了一种廉价且几乎无偏差的梯度估计器，可以应用于随机优化的多个领域，如随机优化，概率图形模型推理以及优化的机器学习等。

    Jun, 2021

  • 对抗训练及更多领域中的均匀稳定算法

    在对抗性机器学习中，神经网络面临着一个重要问题，即强鲁棒性测试精度随时间降低。我们提出了 Moreau 包络 -$\mathcal {A}$，一个新方法来解决这个问题，通过引入 Moreau 包络函数，将原始问题重新构建为极小 - 极小问题，并通过解决内外两个最小化问题来实现统一稳定性，而无需额外的计算开销。在实际场景中，我们展示了 ME-$\mathcal {A}$ 在减轻强鲁棒性过拟合问题方面的有效性。除了在对抗性训练中的应用，这也是统一稳定性分析的一个基本结果，作为第一个在弱凸、非光滑问题上表现出统一稳定性的算法。

    May, 2024

  • 基于原始 - 对偶辅助罚函数的耦合约束双层优化方法

    我们的论文研究了具有耦合约束的双层优化问题，并开发了一种名为 BLOCC 的（完全）一阶算法，实现对这一具有挑战性但较少被探索的场景的解决。我们为所提算法建立了严格的收敛理论，并通过使用塞维利亚城市的真实数据，对 SVM 中的超参数选择和交通网络的基础设施规划这两个知名的实际应用进行了有效性验证。

    Jun, 2024