在这篇论文中，我们考虑了分散网络中的双层优化问题，提出了一种针对具有强凸下层问题的分散式双层优化的新型单循环算法。我们的算法完全是单循环算法，在逼近超梯度时不需要进行复杂的矩阵向量乘法。此外，与现有的分散式双层优化和联邦双层优化方法不同的是，我们的算法不需要任何梯度异质性假设。我们的分析结果显示，该算法达到了迄今为止双层优化算法的最佳收敛速度。

Nov, 2023

本文提出了一种新的完全单循环和免除海森矩阵的算法框架，用于随机双层优化，并在标准光滑性假设下提出了更紧密的分析，进而展示了算法的普遍性。

Jun, 2023

我们开发了一种新颖的去中心化随机双层梯度下降算法，在异构环境中具有每轮小的通信成本和通信轮数，从而比现有算法实现了更好的通信复杂度。我们还将我们的算法扩展到更具挑战性的去中心化多级优化问题。根据我们的知识，我们是第一次在异构环境下实现这些理论结果。最后，实验结果证实了我们算法的有效性。

Nov, 2023

提出了一种异步分布式双层优化 (ADBO) 算法，旨在解决中心化和同步分布式双层优化遇到的难题，可处理具有非凸上下层目标函数的双层优化问题，理论上收敛，并且迭代复杂度上界是 O (1/ε²)；通过实验研究验证了 ADBO 的有效性和高效性。

Dec, 2022

本文研究了在线双层优化（OBO）问题，提出了一种基于窗口平均的单循环在线双层优化器（SOBOW），用于处理时间变化的函数和真超梯度不可得的问题，并通过解开决策变量之间的复杂耦合关系并精确控制超梯度估计误差，来实现亚线性双层局部遗憾的性能。通过在多个领域进行广泛实验证实了 SOBOW 的有效性。

Aug, 2023

本文提出了快速随机化算法来解决非凸随机双层优化问题，在 Lipschitz 连续条件下建立了单一下层问题和具有 $m>1$ 个下层问题（多任务 SBO）的非凸 SBO 的样本复杂度，以及在梯度主导函数下的更快收敛结果。

May, 2021

我们引入了上下文随机双层优化（CSBO）—— 一种在下层问题最小化给定某些上下文信息和上层决策变量条件下的期望的随机双层优化框架。该框架扩展了经典的随机双层优化，使得下层决策者不仅对上层决策者的决策做出最优响应，还对一些侧面信息做出响应，并且存在多个甚至无数个追随者。它涵盖了元学习、个性化联邦学习、端到端学习和侧面信息的 Wasserstein 分布鲁棒优化等重要应用。由于存在上下文信息，现有的经典随机双层优化的单循环方法无法收敛。为了克服这个挑战，我们引入了一种基于多层蒙特卡罗（MLMC）技术的高效双循环梯度方法，并建立了其样本复杂度和计算复杂度。当专门应用于随机非凸优化时，我们的方法与现有下界相匹配。对于元学习，我们的方法的复杂度不依赖于任务数量。数值实验进一步验证了我们的理论结果。

Oct, 2023

本文提出了一个名为 SimFBO 的基于广义服务器端聚合更新的简单灵活的联邦二级优化（FBO）框架，以提高通信效率，并提出它的一个变种 ShroFBO，可更好地应对异构本地计算问题。实验证明其比现有 FBO 算法更加高效。

May, 2023

研究了分散设置下非凸强凸双层优化问题，在确定性和随机双层优化问题上设计了分散算法。分析了算法的收敛速度，包括在代理间观察到数据异构性的情况。通过对合成和真实数据的数值实验表明，所提出的方法是有效的。

Jun, 2022

本文研究了在网络上进行分布式双层优化问题，提出了一种基于谣言传播的分布式双层学习算法，证明了该算法对于一般非凸双层优化和强凸优化具有最优的样本复杂度，并在多项任务进行的两个例子中进行了测试。

Jun, 2022