无线联邦学习中考虑延迟的半同步客户端选择和模型聚合

Oct, 2022

无线联邦学习中考虑延迟的半同步客户端选择和模型聚合

Latency Aware Semi-synchronous Client Selection and Model Aggregation for Wireless Federated Learning

Liangkun Yu, Xiang Sun, Rana Albelaihi, Chen Yi

TL;DR该论文提出了一种名为 LESSON 的方法，它通过选择不同频率上传模型的客户端来解决异质客户端设置下的延迟问题，加速收敛速度并避免模型过度拟合。模拟结果表明，LESSON 的收敛速度比 FedAvg 和 FedCS 更快，模型准确性比 FedCS 更高。

Abstract

federated learning (FL) is a collaborative machine learning framework that requires different clients (e.g., Internet of Things devices) to participate in the machine learning model training process by training and uploading their local models to an FL server in each global iteration.

federated learning straggler problem latency aware semi-synchronous client selection model aggregation

发现论文，激发创造

异步无线联邦学习与概率客户端选择

通过联邦学习解决异步模式下的执行阻塞问题，提出利用概率选择客户端和带宽分配来优化异步联邦学习的收敛速度和移动能源消耗的问题，并通过实验验证了该方法的优越性。

Nov, 2023

加速半异步联邦学习

传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠，本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法，有效提升了收敛速度。

Feb, 2024

异步多服务器联邦学习用于地理分布式客户端

提出了一种全新的异步架构的多服务器联邦学习系统，解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题，与之前的基线方法相比，收敛速度更快且在地理分布环境中所需时间减少了 61%。

Jun, 2024

资源受限异步联邦学习系统中的降低系统偏差

在非同步聯邦學習 (AFL) 的部署中，我們提出一種動態全球模型聚合方法，以應對異質設備和在客戶端之間非相同分佈的數據所帶來的性能挑戰。我們的聚合方法基於客戶端的上傳頻率對其模型更新的權重進行評分和調整，以適應設備能力的差異。此外，我們在客戶端上傳本地模型後立即提供更新的全球模型，以減少閒置時間並提高訓練效率。我們在由 10 個模擬客戶端組成的 AFL 部署中評估了我們的方法，這些客戶端具有異質的計算限制和非相同分佈的數據。使用 FashionMNIST 數據集的模擬結果顯示，與最先進的方法 PAPAYA 和 FedAsync 相比，全球模型的準確性分別提高了 10% 和 19%。我們的動態聚合方法即使在限制的客戶資源和統計數據異質性下也可以實現可靠的全球模型訓練，從而提高了現實世界的 FL 部署的韌性和可擴展性。

Jan, 2024

FedAST: 分布式异步同时训练

提出了一个缓冲异步联邦同时训练算法 FedAST，通过克服模型缓慢和自适应分配异构任务的客户资源来解决瓶颈问题，实验证明与现有同时联邦学习方法相比，能够达到多任务训练时间的最多 46.0% 的减少。

Jun, 2024

异构和相关客户端的联邦学习

本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析，发现相关性如何不利地影响算法的收敛速率，并且介绍了一种新的算法 CA-Fed，在最大化收敛速度和最小化模型偏差之间寻求平衡，同时忽略了可用性低和相关性大的客户。实验结果表明，CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。

Jan, 2023

基于分层模型更新的低延迟同步联邦学习算法

通过分层方式更新全局模型及处理设备异构性问题，同步的分布式学习能够缩短训练时间并取得较好的性能增益。

Mar, 2024

风险感知的异构客户加速无线联邦学习

本文提出了一种考虑到客户端数据数量、传输速率、传输错误和可信度的风险感知加速联邦学习框架，通过根据客户端的位置相关性能和可信度进行分类，并提出了一种动态的风险感知全局模型聚合方案，使客户端根据传输速率和可信度限制按照降序和升序参与，从而加快收敛速度。数值结果显示，与两个基准方案相比，所提出的方案在精确度和收敛速度上具有明显的优势。

Jan, 2024

异步联邦学习中实现线性加速

我们提出了一种高效的异步联邦学习（AFL）框架，称为延迟联邦平均（DeFedAvg），通过在自己的速度上使用不同陈旧的全局模型，DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率，同时也是第一个具有可证明的良好线性加速特性的 AFL 算法，从而表明其高可扩展性。

Feb, 2024

异步联邦学习的设备调度和更新聚合策略

本文提出了一种异步 FL 框架，其采用定期聚合的方式消除了 FL 系统中的问题，并设计出多种装置调度和更新聚合策略以解决异构计算能力和训练数据分布的设备问题。通过模拟结果，我们得出结论，异步 FL 的调度和聚合设计可以不同于同步情况，并且适当的 “年龄感知” 加权设计可以极大地提高此类系统的学习性能。

Jul, 2021