本文研究凸双层优化问题，其中内层最小化平滑函数和非凸函数的和，外层旨在在内层问题的最优解集合上最小化平滑且强凸的函数。我们分析了一个基于现有不动点算法的一阶方法，通过内部目标函数值建立了方法的全局次线性收敛率。

Feb, 2017

本文主要研究双层优化的一阶算法，目标函数在两个层次上都是光滑但可能非凸的，变量限制在闭凸集合中。首先通过罚函数方法，研究了双层优化的景观，并建立了罚函数与超目标之间的强连接。接着，提出了一阶算法来优化罚函数，以找到一个 ε- 稳定解。在满足小误差近似条件的情况下，算法以 O (ε^{-3}) 和 O (ε^{-7}) 程度的复杂度达到 ε- 稳定点。在随机预言机的额外假设下，算法的实现可以完全使用单循环方式，并分别达到 O (ε^{-3}) 和 O (ε^{-5}) 的优化复杂度。

Sep, 2023

通过使用 y^*-aware oracle，我们提出了一种简单的一阶方法，它可以使用 O (ε^{-6})，O (ε^{-4}) 的一阶 y^*-aware oracles 来收敛到一个 ε 稳定点。

Feb, 2024

本研究提出一种全一阶随机逼近方法用于解决双层无约束随机优化问题，该方法具有收敛性及优异的实际性能，并且可以使用动量辅助的梯度估计器进一步提高收敛速度。

Jan, 2023

本文提出了一种一阶 Bi-Sub-Gradient 方法，它被广泛应用于凸性双层优化问题中，具有易于实现、内外两个目标函数均能取得亚线性收敛速度等特点，并且证明了所生成的序列与双层问题最优解的距离趋于零。

Jul, 2023

本文研究一类内部目标函数为强凸函数的双层规划问题，给出了一种求解该问题的逼近算法，并在外部目标函数为不同凸性的情况下提供了其有限时间收敛分析。同时，提出了一种加速变体以提高收敛速度，并推广了结果到只有有限的信息可用的随机情况下。本文是第一次为双层规划提供了已确定的迭代复杂度（样本复杂度）的（随机）逼近算法。

Feb, 2018

我们研究了一类随机二级优化问题，引入了一种新颖的随机二级优化方法，通过随机切割平面局部逼近下层问题的解集，并运行带有方差减少技术的条件梯度更新来控制由于使用随机梯度引起的误差。在上层函数为凸函数的情况下，我们的方法需要最多 $\tilde {\mathcal {O}}(\max\{1/\epsilon_f^{2},1/\epsilon_g^{2}\})$ 个随机 oracle 查询，得到一个上层函数精度为 $\epsilon_f$、下层函数精度为 $\epsilon_g$ 的解，这一保证改进了之前已知的复杂性 $\mathcal {O}(\max\{1/\epsilon_f^{4},1/\epsilon_g^{4}\})$。此外，在上层函数为非凸函数的情况下，我们的方法需要最多 $\tilde {\mathcal {O}}(\max\{1/\epsilon_f^{3},1/\epsilon_g^{3}\})$ 个随机 oracle 查询，找到一个 $(\epsilon_f, \epsilon_g)$- 稳定点。在有限和问题设置中，对于凸和非凸情况下，我们的方法所需的随机 oracle 调用次数分别为 $\tilde {\mathcal {O}}(\sqrt {n}/\epsilon)$ 和 $\tilde {\mathcal {O}}(\sqrt {n}/\epsilon^{2})$，其中 $\epsilon=\min \{\epsilon_f,\epsilon_g\}$。

Aug, 2023

本文讨论了双层优化问题，提出了第一和第二阶段方法，探究了优化的复杂度和速度，并提出了适用于分布式双层问题的简单算法。

Jun, 2023

本研究关注简单的双层优化问题，提出一种新的双层优化方法，利用切割平面方法局部近似解决方案集合，应用加速梯度更新来减小上层目标函数，以实现子优性和不可行性错误的非渐近收敛保证。

Feb, 2024

提出了 Bi-level Descent Aggregation (BDA) 算法框架，能够解决通用的双层优化问题且不需要 Lower-Level Singleton (LLS) 条件，并进一步改进了传统 LLS 方法的收敛性。实验结果证明了该算法在超参数优化和元学习等任务上的卓越性能。

Jun, 2020