本篇论文提供了多方面的双层优化算法收敛速度分析，包括问题和算法两个方面，提出了更加高效可扩展的算法设计，并最终提出了新的随机双层优化算法降低了实践中的复杂度并提高其效率。

Jul, 2021

本文提出了一种改进的双层模型，该模型利用自动差分算法优化了双层模型的公式，并在数据超级清理和超级表示学习等两个任务中进行了理论和实验评估，结果显示新模型的性能优于当前双层模型。

Sep, 2020

基于双层规划的元学习方法，将表示层作为共享超参数，在少数样本情况下实现了较好的结果。

Jun, 2018

本文提出 MORBiT 算法解决 min-max 多目标双层优化问题，给出收敛速度，并且在鲁棒性表示学习和鲁棒性超参数优化方面进行试验，得到实验效果的验证。

Mar, 2022

本篇研究提出 Differentiating through Bilevel Optimization Programming (BiGrad) 模型，旨在将 Bi-level Programming 加入到神经网络中，通过类别估计算法以降低计算复杂度并支持对于连续变量的处理。实验结果表明，该模型成功地将传统单层方法扩展到了 Bi-level Programming

Feb, 2023

提出了一种推广后的交替优化方法（GALET）用于双层优化问题，可以适用于具有非凸下层目标函数的问题，并具有与一阶梯度下降相同的收敛速度。

Jun, 2023

本文提出了一种新颖的基于罚函数方法的二层优化问题算法，避免了计算 Hessian 逆矩阵的过程，并可轻松处理限制性二层问题。本方法证明收敛性并在大规模深度神经网络二层问题中表现优异，应用于数据去噪、few-shot 学习和训练数据污染问题，结果表明在准确性、运行时间和收敛速度方面均优于基于自动微分和近似求逆的以前提出的方法。

Nov, 2019

本篇综述论文研究了基于梯度的双层优化方法在深度学习中的应用和发展，通过探讨单任务和多任务优化问题的双层公式和四种优化器的应用，展示其在优化超参数和提取元知识方面的实用性和高效性，最后指出其广阔的科学问题应用前景。

Jul, 2022

本论文提出了两种新的双层优化算法，第一种采用基于动量的递归迭代算法，第二种采用嵌套循环中的递归梯度估计以减少方差。我们表明，两种算法都实现了 Ω（ε^ -1.5）计算量的复杂度，超越了所有现有算法一个数量级。本文的实验证明了我们算法在超参数优化应用中的优越性能。

Jun, 2021

探讨了基于梯度的算法对二层次优化的隐含偏差，阐明了冷启动和热启动的两种标准方法，并阐述了这些和其他算法选择（如超梯度逼近）对收敛解决方案或长期行为的影响。此外，还表明了热启动 BLO 获得的内部解可以编码关于外部目标的大量信息，即使外部参数是低维的。

Dec, 2022