Jul, 2021

通过 Bregman 距离增强双层优化

PDF
TL;DR本文提出了一种使用 Bregman 距离、具有低计算复杂度的增强型双层优化方法 BiO-BreD 和 SBiO-BreD，以解决双层优化问题，该问题的外部子问题非凸且可能非光滑，内部子问题强凸。通过数据超清理任务和超表征学习任务，证明了所提出的算法优于相关的双层优化方法。
bilevel optimizationbregman distancestochastic optimizationhyperparameter optimizationmeta learning
发现论文，激发创造
  • BOME! 一种简单的一阶方法实现双层优化

    本文提出了一种基于一阶梯度信息的简单双层优化算法，适用于深度学习中大规模的非凸函数，无需隐式微分，并有指导其在非凸优化问题上收敛于驻点的收敛性分析证明，实验结果表明其优越的性能表现。

    Sep, 2022

  • 双层优化的下界和加速算法

    该论文从两个方面揭示双层优化的收敛率：提出首个双层加速优化器 AccBiO 并给出无梯度边界假设的复杂度上限，同时得出更紧的下限。此外，论文还证明在某些情况下，双层优化比极大极小问题更具有挑战性。关键词包括双层优化、收敛率、下限复杂度、AccBiO 和二次型条件数。

    Feb, 2021

  • 双层优化：收敛分析与增强设计

    本文研究非凸强凸双层优化问题，提供了两种基于近似隐式导数和迭代导数的算法以及一种名为 stocBiO 的新型算法，并对它们进行了收敛性分析和比较，实验表明这些优化算法在元学习、超参数优化等方面表现出良好效果。

    Oct, 2020

  • 无界平滑的双层优化：一种新算法和收敛性分析

    设计了一种名为 BO-REP 的新的双层优化算法，用于解决具有潜在无界平滑性的神经网络在双层优化问题中的挑战。证明了在随机环境下，该算法需要大约 1/ε^4 次迭代来找到一个 ε- 稳定点，结果与有界平滑度设置和没有均方平滑性的随机梯度的最新复杂度结果相匹配。实验证明了所提出算法在超表征学习、超参数优化和文本分类任务中的有效性。

    Jan, 2024

  • 去中心化双层优化

    研究了分散设置下非凸强凸双层优化问题，在确定性和随机双层优化问题上设计了分散算法。分析了算法的收敛速度，包括在代理间观察到数据异构性的情况。通过对合成和真实数据的数值实验表明，所提出的方法是有效的。

    Jun, 2022

  • 异步分布式双层优化

    提出了一种异步分布式双层优化 (ADBO) 算法，旨在解决中心化和同步分布式双层优化遇到的难题，可处理具有非凸上下层目标函数的双层优化问题，理论上收敛，并且迭代复杂度上界是 O (1/ε²)；通过实验研究验证了 ADBO 的有效性和高效性。

    Dec, 2022

  • 关于双层优化问题的稳定性和泛化性

    本文针对双层 (随机) 优化问题，探讨了梯度下降方法的算法稳定性与泛化误差之间的基本联系，并在一般性情形下给出了稳定性界限的分析，通过实验证明了迭代次数对泛化误差的影响。

    Oct, 2022

  • 具有非光滑低层问题的基于梯度的双层优化技术

    本研究提出了一种技术，用于近似具有非唯一解的非光滑下层问题的双层优化问题。通过迭代算法代替下层最小化问题的极小化器的表达式，使用适当的非线性近端距离函数，可以使迭代算法的更新映射可微。

    Feb, 2016

  • 具有非光滑外目标函数的凸双层优化问题

    本文提出了一种一阶 Bi-Sub-Gradient 方法，它被广泛应用于凸性双层优化问题中，具有易于实现、内外两个目标函数均能取得亚线性收敛速度等特点，并且证明了所生成的序列与双层问题最优解的距离趋于零。

    Jul, 2023

  • 隐式双层优化：通过双层优化规划进行求导

    本篇研究提出 Differentiating through Bilevel Optimization Programming (BiGrad) 模型，旨在将 Bi-level Programming 加入到神经网络中，通过类别估计算法以降低计算复杂度并支持对于连续变量的处理。实验结果表明，该模型成功地将传统单层方法扩展到了 Bi-level Programming

    Feb, 2023