本文研究双层规划的理论分析，并提出了一种基于统一稳定性的期望边界解释验证集方面的一些神秘的行为。同时证明了正则化项可以缓解梯度算法过拟合问题。

Jun, 2021

该研究提出了一个数学框架，基于双层规划，可以包含基于梯度的超参数优化和元学习。使用 Far-HO 软件包，可以优化学习率、自动权重单个样例的损失并学习超级表征。

Jun, 2018

本篇论文提供了多方面的双层优化算法收敛速度分析，包括问题和算法两个方面，提出了更加高效可扩展的算法设计，并最终提出了新的随机双层优化算法降低了实践中的复杂度并提高其效率。

Jul, 2021

本文提出了一种嵌套优化问题的解决方案，通过同时考虑内外目标优化动态相关性，实现了基于梯度的超参数优化和元学习的统一，并在此基础上提出了可应用于类似学习方式的梯度算法。同时，文章也探讨了元学习的设计模式，并在少量样本学习方面展示出了一些鼓舞人心的初步实验结果.

Dec, 2017

本文提出了一种改进的双层模型，该模型利用自动差分算法优化了双层模型的公式，并在数据超级清理和超级表示学习等两个任务中进行了理论和实验评估，结果显示新模型的性能优于当前双层模型。

Sep, 2020

探讨了基于梯度的算法对二层次优化的隐含偏差，阐明了冷启动和热启动的两种标准方法，并阐述了这些和其他算法选择（如超梯度逼近）对收敛解决方案或长期行为的影响。此外，还表明了热启动 BLO 获得的内部解可以编码关于外部目标的大量信息，即使外部参数是低维的。

Dec, 2022

本篇研究提出 Differentiating through Bilevel Optimization Programming (BiGrad) 模型，旨在将 Bi-level Programming 加入到神经网络中，通过类别估计算法以降低计算复杂度并支持对于连续变量的处理。实验结果表明，该模型成功地将传统单层方法扩展到了 Bi-level Programming

Feb, 2023

提出了一种将双层优化问题重新设计成极小极大问题的方法，并采用渐进式梯度下降上升算法来解决该问题，结果表明该算法在降低计算成本的同时，优于现有的基于双层优化的算法。

May, 2023

本篇综述论文研究了基于梯度的双层优化方法在深度学习中的应用和发展，通过探讨单任务和多任务优化问题的双层公式和四种优化器的应用，展示其在优化超参数和提取元知识方面的实用性和高效性，最后指出其广阔的科学问题应用前景。

Jul, 2022

本文针对双层 (随机) 优化问题，探讨了梯度下降方法的算法稳定性与泛化误差之间的基本联系，并在一般性情形下给出了稳定性界限的分析，通过实验证明了迭代次数对泛化误差的影响。

Oct, 2022