异步联邦学习中实现线性加速

Feb, 2024

Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients

Xiaolu Wang, Zijian Li, Shi Jin, Jun Zhang

TL;DR我们提出了一种高效的异步联邦学习（AFL）框架，称为延迟联邦平均（DeFedAvg），通过在自己的速度上使用不同陈旧的全局模型，DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率，同时也是第一个具有可证明的良好线性加速特性的 AFL 算法，从而表明其高可扩展性。

Abstract

federated learning (FL) is an emerging distributed training paradigm that aims to learn a common global model without exchanging or transferring the data that are stored locally at different clients. The Federated Averaging (FedAvg)-based algorithms have gained substantial popularity i

federated learning asynchronous federated learning delayed federated averaging convergence rates linear speedup

发现论文，激发创造

加速半异步联邦学习

传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠，本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法，有效提升了收敛速度。

Feb, 2024

异步多服务器联邦学习用于地理分布式客户端

提出了一种全新的异步架构的多服务器联邦学习系统，解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题，与之前的基线方法相比，收敛速度更快且在地理分布环境中所需时间减少了 61%。

Jun, 2024

异构和相关客户端的联邦学习

本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析，发现相关性如何不利地影响算法的收敛速率，并且介绍了一种新的算法 CA-Fed，在最大化收敛速度和最小化模型偏差之间寻求平衡，同时忽略了可用性低和相关性大的客户。实验结果表明，CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。

Jan, 2023

非独立同分布数据边缘设备异步在线联邦学习

本文提出了一种异步在线联邦学习（ASO-Fed）框架，在其中，边缘设备使用连续的流本地数据进行在线学习，而中央服务器从客户端聚合模型参数，我们的框架以异步方式更新中央模型，以应对异构边缘设备的计算负载变化、滞后或丢失的挑战，我们在模拟基准图像数据集和三个真实的非独立同分布数据集上进行了大量实验，结果展示了该模型的快速收敛和良好的预测性能。

Nov, 2019

分布式非凸优化在断断续续的客户端可用性下实现亚线性加速

该研究提出了一种名为 FedLaAvg 的简单分布式非凸优化算法，用于解决在移动环境下采用联邦学习时客户端不连续可用的问题，并证明了其达到了收敛速度为 $ O (E^{1/2}/(N^{1/4} T^{1/2}))$ 的水平。

Feb, 2020

持续本地训练以改进联邦模型的初始化

本文提出了基于本地持续训练策略的联邦学习算法，通过评估一小部分代理数据集上的重要性权重并将其用于约束本地训练，从而减少了权重分歧并不断将不同本地客户端的知识整合到全局模型中，显著提高了联邦模型的初始性能。

May, 2020

资源受限异步联邦学习系统中的降低系统偏差

在非同步聯邦學習 (AFL) 的部署中，我們提出一種動態全球模型聚合方法，以應對異質設備和在客戶端之間非相同分佈的數據所帶來的性能挑戰。我們的聚合方法基於客戶端的上傳頻率對其模型更新的權重進行評分和調整，以適應設備能力的差異。此外，我們在客戶端上傳本地模型後立即提供更新的全球模型，以減少閒置時間並提高訓練效率。我們在由 10 個模擬客戶端組成的 AFL 部署中評估了我們的方法，這些客戶端具有異質的計算限制和非相同分佈的數據。使用 FashionMNIST 數據集的模擬結果顯示，與最先進的方法 PAPAYA 和 FedAsync 相比，全球模型的準確性分別提高了 10% 和 19%。我們的動態聚合方法即使在限制的客戶資源和統計數據異質性下也可以實現可靠的全球模型訓練，從而提高了現實世界的 FL 部署的韌性和可擴展性。

Jan, 2024

使用递减本地 SGD 步骤的更快联邦学习

本文提出了强凸目标函数下联邦平均算法（FedAvg）的调整方法，即通过衰减每轮训练中的 Stochastic Gradient Descent 步数 K，以改善联邦学习模型的收敛性能，并在四个基准 FL 数据集上进行了实验验证。

May, 2023

预处理联邦学习

在本文中，我们提出了基于局部适应性和服务器端适应性的新的通信高效的联邦学习算法，通过使用新型协方差矩阵预处理器，我们的方法在理论上提供了收敛保证，并在 i.i.d. 和非 i.i.d. 设置下取得了最先进的性能。

Sep, 2023

延迟梯度的混合联邦学习算法：迟到的梯度不是灾难

该研究提出了一种混合联邦学习算法（HFL），通过引入异步更新器和自适应延迟 SGD（AD-SGD）等方法，有效解决了异构优化问题中慢设备所带来的训练效率和学习效果不平衡的问题，且算法收敛速度为 $O (1/t+τ)$。

Feb, 2021