在这篇论文中，我们考虑了分散网络中的双层优化问题，提出了一种针对具有强凸下层问题的分散式双层优化的新型单循环算法。我们的算法完全是单循环算法，在逼近超梯度时不需要进行复杂的矩阵向量乘法。此外，与现有的分散式双层优化和联邦双层优化方法不同的是，我们的算法不需要任何梯度异质性假设。我们的分析结果显示，该算法达到了迄今为止双层优化算法的最佳收敛速度。
Nov, 2023
我们开发了一种新颖的去中心化随机双层梯度下降算法，在异构环境中具有每轮小的通信成本和通信轮数，从而比现有算法实现了更好的通信复杂度。我们还将我们的算法扩展到更具挑战性的去中心化多级优化问题。根据我们的知识，我们是第一次在异构环境下实现这些理论结果。最后，实验结果证实了我们算法的有效性。
本文研究非凸强凸双层优化问题，提供了两种基于近似隐式导数和迭代导数的算法以及一种名为 stocBiO 的新型算法，并对它们进行了收敛性分析和比较，实验表明这些优化算法在元学习、超参数优化等方面表现出良好效果。
Oct, 2020
本文针对双层 (随机) 优化问题，探讨了梯度下降方法的算法稳定性与泛化误差之间的基本联系，并在一般性情形下给出了稳定性界限的分析，通过实验证明了迭代次数对泛化误差的影响。
Oct, 2022
提出了一种异步分布式双层优化 (ADBO) 算法，旨在解决中心化和同步分布式双层优化遇到的难题，可处理具有非凸上下层目标函数的双层优化问题，理论上收敛，并且迭代复杂度上界是 O (1/ε²)；通过实验研究验证了 ADBO 的有效性和高效性。
Dec, 2022
本文研究了在网络上进行分布式双层优化问题，提出了一种基于谣言传播的分布式双层学习算法，证明了该算法对于一般非凸双层优化和强凸优化具有最优的样本复杂度，并在多项任务进行的两个例子中进行了测试。
Jun, 2022
该论文从两个方面揭示双层优化的收敛率：提出首个双层加速优化器 AccBiO 并给出无梯度边界假设的复杂度上限，同时得出更紧的下限。此外，论文还证明在某些情况下，双层优化比极大极小问题更具有挑战性。关键词包括双层优化、收敛率、下限复杂度、AccBiO 和二次型条件数。
Feb, 2021
本篇论文提供了多方面的双层优化算法收敛速度分析，包括问题和算法两个方面，提出了更加高效可扩展的算法设计，并最终提出了新的随机双层优化算法降低了实践中的复杂度并提高其效率。
Jul, 2021
本文提出了一种使用 Bregman 距离、具有低计算复杂度的增强型双层优化方法 BiO-BreD 和 SBiO-BreD，以解决双层优化问题，该问题的外部子问题非凸且可能非光滑，内部子问题强凸。通过数据超清理任务和超表征学习任务，证明了所提出的算法优于相关的双层优化方法。
本文研究一类内部目标函数为强凸函数的双层规划问题，给出了一种求解该问题的逼近算法，并在外部目标函数为不同凸性的情况下提供了其有限时间收敛分析。同时，提出了一种加速变体以提高收敛速度，并推广了结果到只有有限的信息可用的随机情况下。本文是第一次为双层规划提供了已确定的迭代复杂度（样本复杂度）的（随机）逼近算法。
Feb, 2018