传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠，本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法，有效提升了收敛速度。

Feb, 2024

提出了一种服务器动量的通用框架，用来解决联邦学习中由于客户端系统和数据异质性引起的收敛问题，并通过严密的收敛分析和大量实验证实了该框架的有效性。

Dec, 2023

本研究探讨了动量联邦学习在解决分布式数据机器学习问题方面的应用。在本文中，我们提出了一种新的方法来将动量梯度下降算法应用于本地更新步骤中，以加速全局收敛。我们还建立了动量联邦学习的全局收敛性质，并对其收敛速度进行了上界分析，并与仅使用一阶梯度下降的联邦学习进行了比较。通过使用 MNIST 数据集进行实验，我们评估了 MFL 在不同机器学习模型下的收敛性能，并发现 MFL 比 FL 在全局收敛上有显著的改进。

Oct, 2019

本文介绍了在联邦学习中引入动量的方法，以提高 FedAvg 和 SCAFFOLD 算法的性能，并成功证明了在所有的客户端参与训练的情况下，利用动量可以使 FedAvg 算法收敛，而在部分客户端参与训练时，利用动量可以使 SCAFFOLD 算法更快地收敛。此外，文章提出了新的方差缩减扩展，展现出最先进的收敛速度。

Jun, 2023

本文提出了一种名为 FedCM 的新型联邦平均算法，用于解决现实世界联邦学习应用中的部分参与和客户异质性问题。它在以前的通信轮次中聚合全局梯度信息，并修改客户端梯度下降，可以有效地纠正偏差并提高本地 SGD 的稳定性。作者提供了理论分析和广泛的实证研究表明，FedCM 在各种任务中均具有卓越的性能，并且对不同的客户数量、参与率和客户异质性具有鲁棒性。

Jun, 2021

本文提出了一种新的缓存异步聚合方法 FedBuff，它结合了同步和异步 federated learning 的最佳属性，可在不影响系统隐私的情况下提高效率，大大缓解了跨设备联合学习中的可扩展性和隐私问题。

Jun, 2021

提出一种新的联邦学习框架，通过发送全局梯度估计的加速模型来引导本地梯度更新，从而改进了服务器端聚合步骤的稳定性，实现了自然聚合和传递全局更新信息，同时不需要额外的通信成本和客户机中存储过去的模型。在现实数据下进行全面的实证研究，证明了所提方法在精度和通信效率方面相对于现有方法的显着性能，尤其是在低客户端参与率下。

Jan, 2022

本文证明，异步优化算法中添加一类类动量项，可加速训练多层神经网络，对于卷积神经网络，异步度与动量呈直线关系，故在异步执行时，动量调整得当可提升算法效率，反之也可采用相反的动量来改善结果。

May, 2016

在非同步聯邦學習 (AFL) 的部署中，我們提出一種動態全球模型聚合方法，以應對異質設備和在客戶端之間非相同分佈的數據所帶來的性能挑戰。我們的聚合方法基於客戶端的上傳頻率對其模型更新的權重進行評分和調整，以適應設備能力的差異。此外，我們在客戶端上傳本地模型後立即提供更新的全球模型，以減少閒置時間並提高訓練效率。我們在由 10 個模擬客戶端組成的 AFL 部署中評估了我們的方法，這些客戶端具有異質的計算限制和非相同分佈的數據。使用 FashionMNIST 數據集的模擬結果顯示，與最先進的方法 PAPAYA 和 FedAsync 相比，全球模型的準確性分別提高了 10% 和 19%。我們的動態聚合方法即使在限制的客戶資源和統計數據異質性下也可以實現可靠的全球模型訓練，從而提高了現實世界的 FL 部署的韌性和可擴展性。

Jan, 2024

提出了一种名为 DANA 的技术，旨在解决分布式异步训练的梯度走样问题，可以加速深度神经网络的训练过程且不影响最终精度。该方法在 CIFAR 和 ImageNet 数据集上表现出比现有方法更好的性能。

Jul, 2019