本文提出了一种解决分散式学习中数据分布不一致、超参数调整等问题的两种方案，分别是特征匹配方案和自适应超参数调整方案，并在多个基准测试中证明，这两种方案可以显著提高性能和训练鲁棒性。

Dec, 2019

本研究提出了联邦学习的自适应优化方法，包括Adagrad，Adam和Yogi，并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用，并表明自适应优化器的使用可以显着提高联邦学习的性能。

Feb, 2020

本文提出了FedLin框架来应对分布式学习中的目标异质性、系统异质性和不频繁不准确的通信挑战，当客户端的本地损失函数是光滑且强凸的时，FedLin保证线性收敛并最终收敛到全局最小点，并且在压缩比例下仍然保持线性收敛速度。

Feb, 2021

研究一种称为“本地更新方法”的算法族，它可以泛化许多联邦和元学习算法，并证明对于二次模型，本地更新方法等价于对我们精确表征的代理损失进行一阶优化。

Mar, 2021

本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响，指出自适应优化方法虽然可以加速模型收敛，但可能导致解决方案出现偏差，为此提出了纠正技术以克服这种不一致性，并在现实联合训练任务上进行了广泛实验，结果表明与没有局部自适应性的基线相比，所提出的算法可以实现更快的收敛和更高的测试准确性。

Jun, 2021

提出一种新的联邦学习框架，通过发送全局梯度估计的加速模型来引导本地梯度更新，从而改进了服务器端聚合步骤的稳定性，实现了自然聚合和传递全局更新信息，同时不需要额外的通信成本和客户机中存储过去的模型。在现实数据下进行全面的实证研究，证明了所提方法在精度和通信效率方面相对于现有方法的显着性能，尤其是在低客户端参与率下。

Jan, 2022

本文研究了在联邦学习中的服务端优化问题，运用随机重排等技术，证明在使用 Federated Averaging 算法的情况下，通过调整本地学习率，可以显著提高求解凸优化和非凸优化问题的效果。同时，通过选择合适的本地学习率，可以有效克服通信瓶颈问题。

Jan, 2022

提出了一种名为Delta-SGD的算法用于优化联邦学习模型中的超参数，该算法能够在各个客户端之间自适应优化不同的参数，实验结果表明，该算法可以在不需要额外调整的情况下，在73%的实验中达到TOP-1准确度，在100%的实验中达到TOP-2准确度。

Jun, 2023

本文介绍了一种基于 Stochastic Polyak Stepsize 的联邦学习算法 FedSPS，该算法具有局部自适应性和近乎无参数，且可以达到与 FedAvg 相当的优化性能。

Jul, 2023

通过利用全局梯度下降和本地自适应修正优化器，提出了一种新颖的基于动量的算法来解决分布式学习中的不准确梯度估计以及局部自适应优化器导致的收敛困难和客户端漂移等问题。在理论上，我们在部分参与设置下建立了FedLADA的收敛速度与线性加速特性。此外，我们在真实世界的数据集上进行了广泛的实验，证明了我们所提出的FedLADA的有效性，它可以大大减少通信轮数，并且比几个基准模型达到更高的准确性。

Jul, 2023