一种通用的一阶算法框架，用于双层规划，超越了下层单例

ICMLJun, 2020

一种通用的一阶算法框架，用于双层规划，超越了下层单例

A Generic First-Order Algorithmic Framework for Bi-Level Programming Beyond Lower-Level Singleton

Risheng Liu, Pan Mu, Xiaoming Yuan, Shangzhi Zeng, Jin Zhang

TL;DR提出了 Bi-level Descent Aggregation (BDA) 算法框架，能够解决通用的双层优化问题且不需要 Lower-Level Singleton (LLS) 条件，并进一步改进了传统 LLS 方法的收敛性。实验结果证明了该算法在超参数优化和元学习等任务上的卓越性能。

Abstract

In recent years, a variety of gradient-based first-order methods have been developed to solve bi-level optimization problems for learning applications. However, theoretical guarantees of these existing approaches heavily rely on the simplification that for each fixed upper-level variab

bi-level optimization gradient-based methods optimistic bi-level lower-level singleton convergence

发现论文，激发创造

双层优化与 Stackelberg 博弈的一阶收敛方法

本研究提出了一种使用一阶信息解决一类双层优化问题的算法，该算法不需要使用二级目标的梯度的标准估计器或内部问题的近似解算器，而是交替使用幼稚的优化方法降低内部问题和使用特殊构建的梯度估计器降低上层目标函数，我们提供了双层目标的到达平稳点的非渐近收敛速率，而且在闭环函数不凸的情况下仅显示局部最小值的渐近收敛。该方法受到了两个时间规模随机逼近算法文献中的思想的启发。

Feb, 2023

从统一视角探究双层优化在学习和视觉中的应用：调查与进展

本文介绍了如何使用 Bi-Level Optimization（BLO）来解决计算机视觉和机器学习领域的问题，建立了一个单层重构和统一算法框架，讨论了这个框架的潜力和未来的研究方向。

Jan, 2021

基于梯度的双层优化在深度学习中的应用

本篇综述论文研究了基于梯度的双层优化方法在深度学习中的应用和发展，通过探讨单任务和多任务优化问题的双层公式和四种优化器的应用，展示其在优化超参数和提取元知识方面的实用性和高效性，最后指出其广阔的科学问题应用前景。

Jul, 2022

受约束的双层优化：近端拉格朗日值函数方法与无 Hessian 算法

针对一类具有上下级变量耦合的约束双层优化问题，本研究提出了一种新的方法和算法。通过设计平滑的近端 Lagrangian 值函数来处理约束的下层问题，并将原始问题转化为具有平滑约束的等价优化问题，从而实现了一种适用于机器学习应用的基于近端 Lagrangian 值函数的非 Hessian 梯度算法。此外，还针对 LV-HBA 进行了收敛性分析，不需要对下层问题进行传统的强凸性假设，并且能够处理非单例情况。实证结果验证了该算法在实际性能上的优越性。

Jan, 2024

BOME! 一种简单的一阶方法实现双层优化

本文提出了一种基于一阶梯度信息的简单双层优化算法，适用于深度学习中大规模的非凸函数，无需隐式微分，并有指导其在非凸优化问题上收敛于驻点的收敛性分析证明，实验结果表明其优越的性能表现。

Sep, 2022

双层优化简介：在信号处理和机器学习中的基础与应用

近期，双层优化（BLO）在信号处理和机器学习领域中取得了重要进展，本文提供了这一类可计算双层优化问题的基本概念、标准算法及其在信号处理和机器学习等领域应用中的最新进展，并指出了当前研究的一些局限性和需要未来深入探索的方向。

Aug, 2023

多目标双层优化的一阶多梯度算法

本研究针对多目标双层优化问题，提出了一种高效的一阶多梯度方法 FORUM，将 MOBLO 问题重新构造为约束的多目标优化问题，并通过一种新颖的多梯度聚合方法解决了具有挑战性的约束的多目标优化问题。理论上，我们提供了复杂度分析来展示所提出方法的效率以及非渐近收敛结果。实证上，广泛的实验表明了 FORUM 方法在不同的学习问题中的有效性和高效性，尤其在三个多任务学习基准数据集上取得了最先进的性能。

Jan, 2024

隐式双层优化：通过双层优化规划进行求导

本篇研究提出 Differentiating through Bilevel Optimization Programming (BiGrad) 模型，旨在将 Bi-level Programming 加入到神经网络中，通过类别估计算法以降低计算复杂度并支持对于连续变量的处理。实验结果表明，该模型成功地将传统单层方法扩展到了 Bi-level Programming

Feb, 2023

机器学习中的双层优化：算法设计与收敛分析

本篇论文提供了多方面的双层优化算法收敛速度分析，包括问题和算法两个方面，提出了更加高效可扩展的算法设计，并最终提出了新的随机双层优化算法降低了实践中的复杂度并提高其效率。

Jul, 2021

ScaleBiO: 面向 LLM 数据重新加权的可扩展的双层优化

本研究提出了第一种可扩展实例，称为 ScaleBiO，通过与一种称为 LISA 的新型算法相结合，使软件在八个 A40 GPU 上扩展到 34 亿参数的大型语言模型（LLM），标志着在实际应用场景中首次成功应用双层优化于大型 LLM。从实证上来说，对于不同规模的模型，包括 GPT-2，LLaMA-3-8B，GPT-NeoX-20B 和 Yi-34B，通过数据重加权广泛实验验证了 ScaleBiO 的有效性，其中双层优化成功地过滤了无关的数据样本，并选择了信息量较大的样本。从理论上来说，ScaleBiO 确保了学习到的数据权重的最优性，并具有匹配传统的一阶平滑凸优化双层优化范式的收敛保证。

Jun, 2024