异构联邦学习的稳健模型聚合:分析与优化
在非同步聯邦學習 (AFL) 的部署中,我們提出一種動態全球模型聚合方法,以應對異質設備和在客戶端之間非相同分佈的數據所帶來的性能挑戰。我們的聚合方法基於客戶端的上傳頻率對其模型更新的權重進行評分和調整,以適應設備能力的差異。此外,我們在客戶端上傳本地模型後立即提供更新的全球模型,以減少閒置時間並提高訓練效率。我們在由 10 個模擬客戶端組成的 AFL 部署中評估了我們的方法,這些客戶端具有異質的計算限制和非相同分佈的數據。使用 FashionMNIST 數據集的模擬結果顯示,與最先進的方法 PAPAYA 和 FedAsync 相比,全球模型的準確性分別提高了 10% 和 19%。我們的動態聚合方法即使在限制的客戶資源和統計數據異質性下也可以實現可靠的全球模型訓練,從而提高了現實世界的 FL 部署的韌性和可擴展性。
Jan, 2024
该研究基于一项新的分类机制,综合分析和总结了现有各种异步 FL 范式,包括异构设备上的设备异构性、数据异构性、隐私和安全性,以及异构设备上的应用。该研究揭示了该领域面临的挑战并提出了潜在的研究方向。
Sep, 2021
我们提出了一种高效的异步联邦学习(AFL)框架,称为延迟联邦平均(DeFedAvg),通过在自己的速度上使用不同陈旧的全局模型,DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率,同时也是第一个具有可证明的良好线性加速特性的 AFL 算法,从而表明其高可扩展性。
Feb, 2024
提出了一种全新的异步架构的多服务器联邦学习系统,解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题,与之前的基线方法相比,收敛速度更快且在地理分布环境中所需时间减少了 61%。
Jun, 2024
TimelyFL 是一个异步的 FL 框架,它具有自适应的部分训练能力,用于处理异构设备之间的差异和连接不可靠性。实验表明,与现有同类方法相比,它提高了参与率 21.13%,收敛率 1.28-2.89 倍,测试精度提高了 6.25%。
Apr, 2023
对于高度异构的数据,在并行联邦式 DE in the literature, and this paper aims to fill this gap. The analysis of SFL can be more challenging than that of federated learning (FL), due to the potential dual-paced updates at the clients and the main server. We provide convergence analysis of SFL for strongly convex and general convex objectives on heterogeneous data.
Feb, 2024
本文提出了一种异步 FL 框架,其采用定期聚合的方式消除了 FL 系统中的问题,并设计出多种装置调度和更新聚合策略以解决异构计算能力和训练数据分布的设备问题。通过模拟结果,我们得出结论,异步 FL 的调度和聚合设计可以不同于同步情况,并且适当的 “年龄感知” 加权设计可以极大地提高此类系统的学习性能。
Jul, 2021
我们提出了一种异步高效去中心化联邦学习框架,即 AEDFL,它在异构环境中具有三个独特的贡献:首先,我们提出了一种异步的 FL 系统模型,并使用高效的模型聚合方法来改进 FL 的收敛性;其次,我们提出了一种动态过期感知的模型更新方法,以实现更高的准确性;第三,我们提出了一种自适应的稀疏训练方法,以降低通信和计算成本,同时准确性下降不显著。通过在四个公共数据集和四个模型上进行广泛的实验,证明了 AEDFL 在准确性(高达 16.3%)、效率(高达 92.9%)和计算成本(高达 42.3%)方面的优势。
Dec, 2023