ICLRJan, 2024

无界平滑的双层优化：一种新算法和收敛性分析

PDF
TL;DR设计了一种名为 BO-REP 的新的双层优化算法，用于解决具有潜在无界平滑性的神经网络在双层优化问题中的挑战。证明了在随机环境下，该算法需要大约 1/ε^4 次迭代来找到一个 ε- 稳定点，结果与有界平滑度设置和没有均方平滑性的随机梯度的最新复杂度结果相匹配。实验证明了所提出算法在超表征学习、超参数优化和文本分类任务中的有效性。
bilevel optimizationbo-repneural networksunbounded smoothnessstochastic setting
发现论文，激发创造
  • 双层优化的可证明更快算法

    本论文提出了两种新的双层优化算法，第一种采用基于动量的递归迭代算法，第二种采用嵌套循环中的递归梯度估计以减少方差。我们表明，两种算法都实现了 Ω（ε^ -1.5）计算量的复杂度，超越了所有现有算法一个数量级。本文的实验证明了我们算法在超参数优化应用中的优越性能。

    Jun, 2021

  • 关于双层优化问题的稳定性和泛化性

    本文针对双层 (随机) 优化问题，探讨了梯度下降方法的算法稳定性与泛化误差之间的基本联系，并在一般性情形下给出了稳定性界限的分析，通过实验证明了迭代次数对泛化误差的影响。

    Oct, 2022

  • 双层优化的下界和加速算法

    该论文从两个方面揭示双层优化的收敛率：提出首个双层加速优化器 AccBiO 并给出无梯度边界假设的复杂度上限，同时得出更紧的下限。此外，论文还证明在某些情况下，双层优化比极大极小问题更具有挑战性。关键词包括双层优化、收敛率、下限复杂度、AccBiO 和二次型条件数。

    Feb, 2021

  • 松弛平滑条件下随机双层优化的最优算法

    本文提出了一种新的完全单循环和免除海森矩阵的算法框架，用于随机双层优化，并在标准光滑性假设下提出了更紧密的分析，进而展示了算法的普遍性。

    Jun, 2023

  • 双层优化：收敛分析与增强设计

    本文研究非凸强凸双层优化问题，提供了两种基于近似隐式导数和迭代导数的算法以及一种名为 stocBiO 的新型算法，并对它们进行了收敛性分析和比较，实验表明这些优化算法在元学习、超参数优化等方面表现出良好效果。

    Oct, 2020

  • 一种通用的交替方法用于满足 Polyak-Łojasiewicz 条件的二层优化

    提出了一种推广后的交替优化方法（GALET）用于双层优化问题，可以适用于具有非凸下层目标函数的问题，并具有与一阶梯度下降相同的收敛速度。

    Jun, 2023

  • 用于简单双层优化的加速梯度方法和凸下层问题

    本研究关注简单的双层优化问题，提出一种新的双层优化方法，利用切割平面方法局部近似解决方案集合，应用加速梯度更新来减小上层目标函数，以实现子优性和不可行性错误的非渐近收敛保证。

    Feb, 2024

  • 通过 Bregman 距离增强双层优化

    本文提出了一种使用 Bregman 距离、具有低计算复杂度的增强型双层优化方法 BiO-BreD 和 SBiO-BreD，以解决双层优化问题，该问题的外部子问题非凸且可能非光滑，内部子问题强凸。通过数据超清理任务和超表征学习任务，证明了所提出的算法优于相关的双层优化方法。

    Jul, 2021

  • 机器学习中的双层优化：算法设计与收敛分析

    本篇论文提供了多方面的双层优化算法收敛速度分析，包括问题和算法两个方面，提出了更加高效可扩展的算法设计，并最终提出了新的随机双层优化算法降低了实践中的复杂度并提高其效率。

    Jul, 2021

  • 双动量方法用于下层约束双层优化

    通过利用非光滑隐函数定理，提出一种新的双层约束双目标函数优化的超梯度方法，并基于双动量方法和自适应步长方法提出了一种单循环单时间尺度算法，经证明它可以返回一个（δ，ε）- 稳定点，迭代次数约为 O (d2^2ε^-4)，在两个应用上的实验证明了该方法的有效性。

    Jun, 2024