本文研究基于联邦学习的标签噪声问题，并提出了一种基于学习的重新加权方法来减轻该问题的影响。同时，本文还提出了一种名为 Comm-FedBiO 的方法来解决通信效率低的 Federated Bilevel Optimization 问题，并在多个真实世界数据集上验证了其表现优于其他方法。
Jun, 2022
本文提出了一种名为 edblo 的联邦交替随机梯度方法，用于解决复杂的嵌套双层规划问题，并在异构数据情况下建立了收敛性分析，同时提出了多种升级方法，包括联邦超梯度计算和方差缩减，实验结果表明其在超参和超表示学习和最小化最大化规划中具有实际效益。
May, 2022
本论文提出了两种新的双层优化算法，第一种采用基于动量的递归迭代算法，第二种采用嵌套循环中的递归梯度估计以减少方差。我们表明，两种算法都实现了 Ω（ε^ -1.5）计算量的复杂度，超越了所有现有算法一个数量级。本文的实验证明了我们算法在超参数优化应用中的优越性能。
Jun, 2021
提出了一个新的基于层次贝叶斯方法的联邦学习的优化算法，该算法可以不泄露任何的私有数据，并且具有通用的收敛性和泛化性能。
May, 2023
本研究提出了一种新的方法来解决大规模实证风险最小化中双层优化问题的梯度计算难以求解的问题，设计了 SABA（基于 SAGA 算法的）全局方差缩减算法，该算法收敛速度达到了 $O (rac1T)$， 实现了线性收敛，并得到了实验证明。
Jan, 2022
本文研究了在网络上进行分布式双层优化问题，提出了一种基于谣言传播的分布式双层学习算法，证明了该算法对于一般非凸双层优化和强凸优化具有最优的样本复杂度，并在多项任务进行的两个例子中进行了测试。
提出了一种异步分布式双层优化 (ADBO) 算法，旨在解决中心化和同步分布式双层优化遇到的难题，可处理具有非凸上下层目标函数的双层优化问题，理论上收敛，并且迭代复杂度上界是 O (1/ε²)；通过实验研究验证了 ADBO 的有效性和高效性。
Dec, 2022
设计了一种名为 BO-REP 的新的双层优化算法，用于解决具有潜在无界平滑性的神经网络在双层优化问题中的挑战。证明了在随机环境下，该算法需要大约 1/ε^4 次迭代来找到一个 ε- 稳定点，结果与有界平滑度设置和没有均方平滑性的随机梯度的最新复杂度结果相匹配。实验证明了所提出算法在超表征学习、超参数优化和文本分类任务中的有效性。
Jan, 2024
研究了分散设置下非凸强凸双层优化问题，在确定性和随机双层优化问题上设计了分散算法。分析了算法的收敛速度，包括在代理间观察到数据异构性的情况。通过对合成和真实数据的数值实验表明，所提出的方法是有效的。
以边缘设备为学习对象的联邦学习 (Federated Learning, FL) 是解决隐私限制场景下的分布式数据学习的最先进方法。本论文提出了 FedHBM 算法，通过引入新的动量泛化方法，有效解决 FL 中的统计异质性问题，无需增加通信开销，并在多个视觉和自然语言处理数据集上经过大量实验验证了该算法相对于其他方法在非独立同分布场景下的更好的模型质量和更快的收敛速度。
Nov, 2023