Oct, 2021

基于梯度的非凸跟随者双层优化及其拓展

PDF
TL;DR本文提出了一种名为 IAPTT-GM 的算法框架，旨在解决具有非凸跟随结构的 Bi-Level Optimization 模型在解决高复杂度实际问题时的有效解决方案和可靠的近似版本建构问题，并通过理论研究证明了该算法的收敛性和运用 LLC 时 Nesterov 加速动力学的质量。
bi-level optimizationnon-convexsolution strategiesreliable approximate versionconvergence
发现论文，激发创造
  • 一种通用的交替方法用于满足 Polyak-Łojasiewicz 条件的二层优化

    提出了一种推广后的交替优化方法（GALET）用于双层优化问题，可以适用于具有非凸下层目标函数的问题，并具有与一阶梯度下降相同的收敛速度。

    Jun, 2023

  • 受约束的双层优化：近端拉格朗日值函数方法与无 Hessian 算法

    针对一类具有上下级变量耦合的约束双层优化问题，本研究提出了一种新的方法和算法。通过设计平滑的近端 Lagrangian 值函数来处理约束的下层问题，并将原始问题转化为具有平滑约束的等价优化问题，从而实现了一种适用于机器学习应用的基于近端 Lagrangian 值函数的非 Hessian 梯度算法。此外，还针对 LV-HBA 进行了收敛性分析，不需要对下层问题进行传统的强凸性假设，并且能够处理非单例情况。实证结果验证了该算法在实际性能上的优越性。

    Jan, 2024

  • 基于原始 - 对偶辅助罚函数的耦合约束双层优化方法

    我们的论文研究了具有耦合约束的双层优化问题，并开发了一种名为 BLOCC 的（完全）一阶算法，实现对这一具有挑战性但较少被探索的场景的解决。我们为所提算法建立了严格的收敛理论，并通过使用塞维利亚城市的真实数据，对 SVM 中的超参数选择和交通网络的基础设施规划这两个知名的实际应用进行了有效性验证。

    Jun, 2024

  • 具有非光滑低层问题的基于梯度的双层优化技术

    本研究提出了一种技术，用于近似具有非唯一解的非光滑下层问题的双层优化问题。通过迭代算法代替下层最小化问题的极小化器的表达式，使用适当的非线性近端距离函数，可以使迭代算法的更新映射可微。

    Feb, 2016

  • 双层优化的下界和加速算法

    该论文从两个方面揭示双层优化的收敛率：提出首个双层加速优化器 AccBiO 并给出无梯度边界假设的复杂度上限，同时得出更紧的下限。此外，论文还证明在某些情况下，双层优化比极大极小问题更具有挑战性。关键词包括双层优化、收敛率、下限复杂度、AccBiO 和二次型条件数。

    Feb, 2021

  • 用于简单双层优化的加速梯度方法和凸下层问题

    本研究关注简单的双层优化问题，提出一种新的双层优化方法，利用切割平面方法局部近似解决方案集合，应用加速梯度更新来减小上层目标函数，以实现子优性和不可行性错误的非渐近收敛保证。

    Feb, 2024

  • BloomGML: 透过双层优化镜头看图机器学习

    双层优化是指将下层能量函数的最优解作为上层感兴趣的目标的输入特征。本文说明了一系列图学习技术可以被重新解释为双层优化的特殊情况或简化形式，并提出了更灵活的能量函数类，形成图神经网络的消息传递层。此外，本文探索了与非图神经网络图学习方法的密切联系，并通过实证结果展示了所提出的双层优化方法的多样性。

    Mar, 2024

  • 一种带自适应动量的加速分块近端框架用于非凸非光滑优化

    我们提出了一种加速的块近端线性框架与适应性动量 (ABPL$^+$) 用于非凸和非光滑优化。

    Aug, 2023

  • 自适应镜像下降双层优化

    我们提出了一类基于镜像下降的高效自适应双层优化方法，用于求解非凸双层优化问题，其中上层问题可能是非凸的且具有非光滑正则化，而下层问题也是非凸的但满足 Polyak-Lojasiewicz 条件。我们提出了一种基于镜像下降的高效自适应投影梯度方法来解决确定性双层问题，并证明其在寻找非凸双层问题的 ε- 稳定解时具有已知最好的梯度复杂度 O (ε^(-1))。为了解决随机双层问题，我们提出了一种基于镜像下降和方差约减技术的高效自适应随机投影梯度方法，并证明其在寻找 ε- 稳定解时具有已知最好的梯度复杂度 O (ε^(-3/2))。由于 Polyak-Lojasiewicz 条件放宽了强凸性，我们的算法可以用于非凸强凸双层优化问题。从理论上讲，我们在一些温和条件下提供了有用的收敛性分析框架，并证明了我们的方法具有较快的收敛速度 O (1/T)，其中 T 表示迭代次数。

    Nov, 2023

  • 关于过度参数的双层优化问题中的隐性偏差

    探讨了基于梯度的算法对二层次优化的隐含偏差，阐明了冷启动和热启动的两种标准方法，并阐述了这些和其他算法选择（如超梯度逼近）对收敛解决方案或长期行为的影响。此外，还表明了热启动 BLO 获得的内部解可以编码关于外部目标的大量信息，即使外部参数是低维的。

    Dec, 2022