Jun, 2024

基于原始 - 对偶辅助罚函数的耦合约束双层优化方法

PDF
TL;DR我们的论文研究了具有耦合约束的双层优化问题，并开发了一种名为 BLOCC 的（完全）一阶算法，实现对这一具有挑战性但较少被探索的场景的解决。我们为所提算法建立了严格的收敛理论，并通过使用塞维利亚城市的真实数据，对 SVM 中的超参数选择和交通网络的基础设施规划这两个知名的实际应用进行了有效性验证。
发现论文，激发创造
  • 具有凸下层的双层规划的对偶方法

    本文提出了一种基于对偶理论的方法来解决具有凸低层问题的双层规划问题，并且引入了一种优化方法以保证约束条件成立。作者通过提出的构建新对偶函数方法获得技术性结果，并最终通过求解两个实例来演示该算法的有效性。

    Aug, 2016

  • 关于过度参数的双层优化问题中的隐性偏差

    探讨了基于梯度的算法对二层次优化的隐含偏差，阐明了冷启动和热启动的两种标准方法，并阐述了这些和其他算法选择（如超梯度逼近）对收敛解决方案或长期行为的影响。此外，还表明了热启动 BLO 获得的内部解可以编码关于外部目标的大量信息，即使外部参数是低维的。

    Dec, 2022

  • 去中心化双层优化

    研究了分散设置下非凸强凸双层优化问题，在确定性和随机双层优化问题上设计了分散算法。分析了算法的收敛速度，包括在代理间观察到数据异构性的情况。通过对合成和真实数据的数值实验表明，所提出的方法是有效的。

    Jun, 2022

  • 机器学习中的双层优化：算法设计与收敛分析

    本篇论文提供了多方面的双层优化算法收敛速度分析，包括问题和算法两个方面，提出了更加高效可扩展的算法设计，并最终提出了新的随机双层优化算法降低了实践中的复杂度并提高其效率。

    Jul, 2021

  • 隐式双层优化：通过双层优化规划进行求导

    本篇研究提出 Differentiating through Bilevel Optimization Programming (BiGrad) 模型，旨在将 Bi-level Programming 加入到神经网络中，通过类别估计算法以降低计算复杂度并支持对于连续变量的处理。实验结果表明，该模型成功地将传统单层方法扩展到了 Bi-level Programming

    Feb, 2023

  • 双层优化简介：在信号处理和机器学习中的基础与应用

    近期，双层优化（BLO）在信号处理和机器学习领域中取得了重要进展，本文提供了这一类可计算双层优化问题的基本概念、标准算法及其在信号处理和机器学习等领域应用中的最新进展，并指出了当前研究的一些局限性和需要未来深入探索的方向。

    Aug, 2023

  • 受约束的双层优化：近端拉格朗日值函数方法与无 Hessian 算法

    针对一类具有上下级变量耦合的约束双层优化问题，本研究提出了一种新的方法和算法。通过设计平滑的近端 Lagrangian 值函数来处理约束的下层问题，并将原始问题转化为具有平滑约束的等价优化问题，从而实现了一种适用于机器学习应用的基于近端 Lagrangian 值函数的非 Hessian 梯度算法。此外，还针对 LV-HBA 进行了收敛性分析，不需要对下层问题进行传统的强凸性假设，并且能够处理非单例情况。实证结果验证了该算法在实际性能上的优越性。

    Jan, 2024

  • 双层优化综述：从古典到进化方法及其应用

    本文介绍了双层优化的基本原理和解决策略，包括经典方法和进化计算技术，并讨论了一些可能的应用问题，鼓励进化计算研究人员更多关注这个实用而具有挑战性的领域。

    May, 2017

  • 双层优化的下界和加速算法

    该论文从两个方面揭示双层优化的收敛率：提出首个双层加速优化器 AccBiO 并给出无梯度边界假设的复杂度上限，同时得出更紧的下限。此外，论文还证明在某些情况下，双层优化比极大极小问题更具有挑战性。关键词包括双层优化、收敛率、下限复杂度、AccBiO 和二次型条件数。

    Feb, 2021

  • 双动量方法用于下层约束双层优化

    通过利用非光滑隐函数定理，提出一种新的双层约束双目标函数优化的超梯度方法，并基于双动量方法和自适应步长方法提出了一种单循环单时间尺度算法，经证明它可以返回一个（δ，ε）- 稳定点，迭代次数约为 O (d2^2ε^-4)，在两个应用上的实验证明了该方法的有效性。

    Jun, 2024