近期，双层优化（BLO）在信号处理和机器学习领域中取得了重要进展，本文提供了这一类可计算双层优化问题的基本概念、标准算法及其在信号处理和机器学习等领域应用中的最新进展，并指出了当前研究的一些局限性和需要未来深入探索的方向。

Aug, 2023

本篇综述论文研究了基于梯度的双层优化方法在深度学习中的应用和发展，通过探讨单任务和多任务优化问题的双层公式和四种优化器的应用，展示其在优化超参数和提取元知识方面的实用性和高效性，最后指出其广阔的科学问题应用前景。

Jul, 2022

探讨了基于梯度的算法对二层次优化的隐含偏差，阐明了冷启动和热启动的两种标准方法，并阐述了这些和其他算法选择（如超梯度逼近）对收敛解决方案或长期行为的影响。此外，还表明了热启动 BLO 获得的内部解可以编码关于外部目标的大量信息，即使外部参数是低维的。

Dec, 2022

双层优化是指将下层能量函数的最优解作为上层感兴趣的目标的输入特征。本文说明了一系列图学习技术可以被重新解释为双层优化的特殊情况或简化形式，并提出了更灵活的能量函数类，形成图神经网络的消息传递层。此外，本文探索了与非图神经网络图学习方法的密切联系，并通过实证结果展示了所提出的双层优化方法的多样性。

Mar, 2024

我们的论文研究了具有耦合约束的双层优化问题，并开发了一种名为 BLOCC 的（完全）一阶算法，实现对这一具有挑战性但较少被探索的场景的解决。我们为所提算法建立了严格的收敛理论，并通过使用塞维利亚城市的真实数据，对 SVM 中的超参数选择和交通网络的基础设施规划这两个知名的实际应用进行了有效性验证。

Jun, 2024

本文提出了一种基于一阶梯度信息的简单双层优化算法，适用于深度学习中大规模的非凸函数，无需隐式微分，并有指导其在非凸优化问题上收敛于驻点的收敛性分析证明，实验结果表明其优越的性能表现。

Sep, 2022

本文介绍了一种基于双层优化的模型修剪方法，称为 BiP，它可以像一级优化一样简单地解决大规模深度学习模型的修剪问题，而且在大多数情况下，此方法可以比传统的迭代剪枝（IMP）找到更好的中奖率，并且在同样的模型准确性和稀疏度下可以获得 2-7 倍的速度提升。

Oct, 2022

本篇论文提供了多方面的双层优化算法收敛速度分析，包括问题和算法两个方面，提出了更加高效可扩展的算法设计，并最终提出了新的随机双层优化算法降低了实践中的复杂度并提高其效率。

Jul, 2021

提出了 Bi-level Descent Aggregation (BDA) 算法框架，能够解决通用的双层优化问题且不需要 Lower-Level Singleton (LLS) 条件，并进一步改进了传统 LLS 方法的收敛性。实验结果证明了该算法在超参数优化和元学习等任务上的卓越性能。

Jun, 2020

针对一类具有上下级变量耦合的约束双层优化问题，本研究提出了一种新的方法和算法。通过设计平滑的近端 Lagrangian 值函数来处理约束的下层问题，并将原始问题转化为具有平滑约束的等价优化问题，从而实现了一种适用于机器学习应用的基于近端 Lagrangian 值函数的非 Hessian 梯度算法。此外，还针对 LV-HBA 进行了收敛性分析，不需要对下层问题进行传统的强凸性假设，并且能够处理非单例情况。实证结果验证了该算法在实际性能上的优越性。

Jan, 2024