非凸时变目标的双层优化

Aug, 2023

Non-Convex Bilevel Optimization with Time-Varying Objective Functions

Sen Lin, Daouda Sow, Kaiyi Ji, Yingbin Liang, Ness Shroff

TL;DR本文研究了在线双层优化（OBO）问题，提出了一种基于窗口平均的单循环在线双层优化器（SOBOW），用于处理时间变化的函数和真超梯度不可得的问题，并通过解开决策变量之间的复杂耦合关系并精确控制超梯度估计误差，来实现亚线性双层局部遗憾的性能。通过在多个领域进行广泛实验证实了 SOBOW 的有效性。

Abstract

bilevel optimization has become a powerful tool in a wide variety of machine learning problems. However, the current nonconvex bilevel optimization considers an offline dataset and static functions, which may not

bilevel optimization online bilevel optimization time-varying functions hypergradient estimation computational efficiency

发现论文，激发创造

松弛平滑条件下随机双层优化的最优算法

本文提出了一种新的完全单循环和免除海森矩阵的算法框架，用于随机双层优化，并在标准光滑性假设下提出了更紧密的分析，进而展示了算法的普遍性。

Jun, 2023

无界平滑的双层优化：一种新算法和收敛性分析

设计了一种名为 BO-REP 的新的双层优化算法，用于解决具有潜在无界平滑性的神经网络在双层优化问题中的挑战。证明了在随机环境下，该算法需要大约 1/ε^4 次迭代来找到一个 ε- 稳定点，结果与有界平滑度设置和没有均方平滑性的随机梯度的最新复杂度结果相匹配。实验证明了所提出算法在超表征学习、超参数优化和文本分类任务中的有效性。

Jan, 2024

BOME! 一种简单的一阶方法实现双层优化

本文提出了一种基于一阶梯度信息的简单双层优化算法，适用于深度学习中大规模的非凸函数，无需隐式微分，并有指导其在非凸优化问题上收敛于驻点的收敛性分析证明，实验结果表明其优越的性能表现。

Sep, 2022

异步分布式双层优化

提出了一种异步分布式双层优化 (ADBO) 算法，旨在解决中心化和同步分布式双层优化遇到的难题，可处理具有非凸上下层目标函数的双层优化问题，理论上收敛，并且迭代复杂度上界是 O (1/ε²)；通过实验研究验证了 ADBO 的有效性和高效性。

Dec, 2022

图上分布式双层优化：无环算法更新和瞬态迭代复杂度

通过引入单循环去中心化的 SBO（D-SOBA）算法，并建立其瞬态迭代复杂度，本文首次澄清了网络拓扑和数据异质性对去中心化双层算法的联合影响。与现有方法相比，D-SOBA 算法在更宽松的假设条件下实现了与现有方法相比最先进的渐近速率、渐近梯度 / 海森复杂度和瞬态迭代复杂度。数值实验验证了我们的理论发现。

Feb, 2024

双动量方法用于下层约束双层优化

通过利用非光滑隐函数定理，提出一种新的双层约束双目标函数优化的超梯度方法，并基于双动量方法和自适应步长方法提出了一种单循环单时间尺度算法，经证明它可以返回一个（δ，ε）- 稳定点，迭代次数约为 O (d2^2ε^-4)，在两个应用上的实验证明了该方法的有效性。

Jun, 2024

机器学习的功能双层优化

我们介绍了一种新的功能性观点，用于机器学习领域的双层优化问题，其中内部目标函数在函数空间上最小化。我们提出了可扩展和高效的算法来解决这个功能性双层优化问题，并且通过在仪器回归和强化学习任务上展示了我们方法的优点。

Mar, 2024

通过 Bregman 距离增强双层优化

本文提出了一种使用 Bregman 距离、具有低计算复杂度的增强型双层优化方法 BiO-BreD 和 SBiO-BreD，以解决双层优化问题，该问题的外部子问题非凸且可能非光滑，内部子问题强凸。通过数据超清理任务和超表征学习任务，证明了所提出的算法优于相关的双层优化方法。

Jul, 2021

一种用于随机双层优化的单时间尺度方法

本论文提出了一种单时间尺度的随机双层最优化算法 (STABLE)，用于解决机器学习中的双层次优化问题，具有较高的效率和样本复杂度。

Feb, 2021

关于双层优化问题的稳定性和泛化性

本文针对双层 (随机) 优化问题，探讨了梯度下降方法的算法稳定性与泛化误差之间的基本联系，并在一般性情形下给出了稳定性界限的分析，通过实验证明了迭代次数对泛化误差的影响。

Oct, 2022