本文提出了一种一阶 Bi-Sub-Gradient 方法，它被广泛应用于凸性双层优化问题中，具有易于实现、内外两个目标函数均能取得亚线性收敛速度等特点，并且证明了所生成的序列与双层问题最优解的距离趋于零。

Jul, 2023

本文研究凸双层优化问题，其中内层最小化平滑函数和非凸函数的和，外层旨在在内层问题的最优解集合上最小化平滑且强凸的函数。我们分析了一个基于现有不动点算法的一阶方法，通过内部目标函数值建立了方法的全局次线性收敛率。

Feb, 2017

我们介绍了一种新的功能性观点，用于机器学习领域的双层优化问题，其中内部目标函数在函数空间上最小化。我们提出了可扩展和高效的算法来解决这个功能性双层优化问题，并且通过在仪器回归和强化学习任务上展示了我们方法的优点。

Mar, 2024

该研究提出了一种基于随机梯度下降法的内点算法，用于最小化一个连续可微的目标函数，该函数可能不是凸函数，同时受到边界约束。该算法唯一之处在于通过计算随机梯度估计来计算搜索方向，以及通过正面和消失的邻域参数序列来定义可行区域内部邻域，从而迫使迭代点保持在该邻域内。数值实验结果表明，在确定性和随机设置下，该算法的性能可以超过投影 -（随机）梯度法。

Apr, 2023

本文研究一类内部目标函数为强凸函数的双层规划问题，给出了一种求解该问题的逼近算法，并在外部目标函数为不同凸性的情况下提供了其有限时间收敛分析。同时，提出了一种加速变体以提高收敛速度，并推广了结果到只有有限的信息可用的随机情况下。本文是第一次为双层规划提供了已确定的迭代复杂度（样本复杂度）的（随机）逼近算法。

Feb, 2018

本研究提出了一种技术，用于近似具有非唯一解的非光滑下层问题的双层优化问题。通过迭代算法代替下层最小化问题的极小化器的表达式，使用适当的非线性近端距离函数，可以使迭代算法的更新映射可微。

Feb, 2016

针对一类具有上下级变量耦合的约束双层优化问题，本研究提出了一种新的方法和算法。通过设计平滑的近端 Lagrangian 值函数来处理约束的下层问题，并将原始问题转化为具有平滑约束的等价优化问题，从而实现了一种适用于机器学习应用的基于近端 Lagrangian 值函数的非 Hessian 梯度算法。此外，还针对 LV-HBA 进行了收敛性分析，不需要对下层问题进行传统的强凸性假设，并且能够处理非单例情况。实证结果验证了该算法在实际性能上的优越性。

Jan, 2024

本研究提出了一种使用一阶信息解决一类双层优化问题的算法，该算法不需要使用二级目标的梯度的标准估计器或内部问题的近似解算器，而是交替使用幼稚的优化方法降低内部问题和使用特殊构建的梯度估计器降低上层目标函数，我们提供了双层目标的到达平稳点的非渐近收敛速率，而且在闭环函数不凸的情况下仅显示局部最小值的渐近收敛。该方法受到了两个时间规模随机逼近算法文献中的思想的启发。

Feb, 2023

本研究关注简单的双层优化问题，提出一种新的双层优化方法，利用切割平面方法局部近似解决方案集合，应用加速梯度更新来减小上层目标函数，以实现子优性和不可行性错误的非渐近收敛保证。

Feb, 2024

本文提出了一种使用 Bregman 距离、具有低计算复杂度的增强型双层优化方法 BiO-BreD 和 SBiO-BreD，以解决双层优化问题，该问题的外部子问题非凸且可能非光滑，内部子问题强凸。通过数据超清理任务和超表征学习任务，证明了所提出的算法优于相关的双层优化方法。

Jul, 2021