提出一种新的联邦学习框架，通过发送全局梯度估计的加速模型来引导本地梯度更新，从而改进了服务器端聚合步骤的稳定性，实现了自然聚合和传递全局更新信息，同时不需要额外的通信成本和客户机中存储过去的模型。在现实数据下进行全面的实证研究，证明了所提方法在精度和通信效率方面相对于现有方法的显着性能，尤其是在低客户端参与率下。

Jan, 2022

本研究探讨了动量联邦学习在解决分布式数据机器学习问题方面的应用。在本文中，我们提出了一种新的方法来将动量梯度下降算法应用于本地更新步骤中，以加速全局收敛。我们还建立了动量联邦学习的全局收敛性质，并对其收敛速度进行了上界分析，并与仅使用一阶梯度下降的联邦学习进行了比较。通过使用 MNIST 数据集进行实验，我们评估了 MFL 在不同机器学习模型下的收敛性能，并发现 MFL 比 FL 在全局收敛上有显著的改进。

Oct, 2019

本研究使用增量 Hessian 估计器在协同训练集中设计第一个估计全局目标曲率的零阶联邦学习算法，以达到超线性收敛，通过在 Stiefel 流形中对随机搜索方向进行采样以提高性能。我们通过使用同步的伪随机数生成器以一种通信高效和隐私保护的方式，在中央服务器上构建梯度和 Hessian 估计器。我们对我们的算法进行了理论分析，命名为 FedZeN，证明了具有高概率的局部二次收敛和全局线性收敛的零阶精度。数值模拟验证了超线性收敛速率，并表明我们的算法优于文献中可用的零阶联邦学习方法。

Sep, 2023

该研究提出了一种混合联邦学习算法（HFL），通过引入异步更新器和自适应延迟 SGD（AD-SGD）等方法，有效解决了异构优化问题中慢设备所带来的训练效率和学习效果不平衡的问题，且算法收敛速度为 $O (1/t+τ)$。

Feb, 2021

本研究提出了一族 Federated Newton Learn 方法，它不仅能够使用于广义线性模型，还可应用于压缩本地 Hessians 等通用收缩压缩算子，具有隐私增强和通信效率等优点，并以实验证明了其与关键基线相比具有卓越的通信复杂度。

Jun, 2021

提出了一种名为 Federated Newton Sketch 方法（FedNS）的算法，通过通信 sketched square-root Hessian 来逼近中心化的 Newton's 方法，以此解决了 Hessian 矩阵的通信复杂性问题，实现了快速收敛率，并首次达到了超线性收敛率。

Jan, 2024

在非同步聯邦學習 (AFL) 的部署中，我們提出一種動態全球模型聚合方法，以應對異質設備和在客戶端之間非相同分佈的數據所帶來的性能挑戰。我們的聚合方法基於客戶端的上傳頻率對其模型更新的權重進行評分和調整，以適應設備能力的差異。此外，我們在客戶端上傳本地模型後立即提供更新的全球模型，以減少閒置時間並提高訓練效率。我們在由 10 個模擬客戶端組成的 AFL 部署中評估了我們的方法，這些客戶端具有異質的計算限制和非相同分佈的數據。使用 FashionMNIST 數據集的模擬結果顯示，與最先進的方法 PAPAYA 和 FedAsync 相比，全球模型的準確性分別提高了 10% 和 19%。我們的動態聚合方法即使在限制的客戶資源和統計數據異質性下也可以實現可靠的全球模型訓練，從而提高了現實世界的 FL 部署的韌性和可擴展性。

Jan, 2024

本文提出了 Federated Accelerated Stochastic Gradient Descent (FedAc)，它是 Federated Averaging (FedAvg) 的一种加速方法，可以提高收敛速度和通信效率，特别是在凸函数和三阶平滑函数上有更强的性能表现。该技术基于基于潜力的扰动迭代分析、广义加速 SGD 的新型稳定性分析和加速与稳定性之间的战略权衡。

Jun, 2020

本文研究了在网络中分布式汇聚优化问题，提出了结合重球和 Nesterov 加速方法的分布式汇聚梯度跟踪的两个新算法 DAGT-HB 和 DAGT-NES，分析这两个算法在目标函数光滑，强凸且参数选择在一定范围内时，能以全局 R 线性收敛速度收敛到最优解，通过最优放置问题的数值实验验证了算法的有效性和优越性。

Apr, 2023

我们提出了一种高效的异步联邦学习（AFL）框架，称为延迟联邦平均（DeFedAvg），通过在自己的速度上使用不同陈旧的全局模型，DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率，同时也是第一个具有可证明的良好线性加速特性的 AFL 算法，从而表明其高可扩展性。

Feb, 2024