本文针对双层 (随机) 优化问题，探讨了梯度下降方法的算法稳定性与泛化误差之间的基本联系，并在一般性情形下给出了稳定性界限的分析，通过实验证明了迭代次数对泛化误差的影响。

Oct, 2022

基于双层规划的元学习方法，将表示层作为共享超参数，在少数样本情况下实现了较好的结果。

Jun, 2018

本文提出了一种改进的双层模型，该模型利用自动差分算法优化了双层模型的公式，并在数据超级清理和超级表示学习等两个任务中进行了理论和实验评估，结果显示新模型的性能优于当前双层模型。

Sep, 2020

本篇研究提出 Differentiating through Bilevel Optimization Programming (BiGrad) 模型，旨在将 Bi-level Programming 加入到神经网络中，通过类别估计算法以降低计算复杂度并支持对于连续变量的处理。实验结果表明，该模型成功地将传统单层方法扩展到了 Bi-level Programming

Feb, 2023

本篇论文提供了多方面的双层优化算法收敛速度分析，包括问题和算法两个方面，提出了更加高效可扩展的算法设计，并最终提出了新的随机双层优化算法降低了实践中的复杂度并提高其效率。

Jul, 2021

本文提出了一种新颖的正则化训练神经网络的方法，基于交叉验证的原则，通过使用验证集来限制模型过拟合，其中通过引入在每个小批量训练集上的权重来控制过拟合，并通过在验证集上最小化误差来选择其值，此项工作可与其他正则方法和训练方案相结合，研究表明其显著提高了模型的泛化能力，特别是在标签嘈杂情况下。

Sep, 2018

本论文提出了两种新的双层优化算法，第一种采用基于动量的递归迭代算法，第二种采用嵌套循环中的递归梯度估计以减少方差。我们表明，两种算法都实现了 Ω（ε^ -1.5）计算量的复杂度，超越了所有现有算法一个数量级。本文的实验证明了我们算法在超参数优化应用中的优越性能。

Jun, 2021

设计了一种名为 BO-REP 的新的双层优化算法，用于解决具有潜在无界平滑性的神经网络在双层优化问题中的挑战。证明了在随机环境下，该算法需要大约 1/ε^4 次迭代来找到一个 ε- 稳定点，结果与有界平滑度设置和没有均方平滑性的随机梯度的最新复杂度结果相匹配。实验证明了所提出算法在超表征学习、超参数优化和文本分类任务中的有效性。

Jan, 2024

提出了一种推广后的交替优化方法（GALET）用于双层优化问题，可以适用于具有非凸下层目标函数的问题，并具有与一阶梯度下降相同的收敛速度。

Jun, 2023

探讨了基于梯度的算法对二层次优化的隐含偏差，阐明了冷启动和热启动的两种标准方法，并阐述了这些和其他算法选择（如超梯度逼近）对收敛解决方案或长期行为的影响。此外，还表明了热启动 BLO 获得的内部解可以编码关于外部目标的大量信息，即使外部参数是低维的。

Dec, 2022