我们提出了一种高效的异步联邦学习(AFL)框架,称为延迟联邦平均(DeFedAvg),通过在自己的速度上使用不同陈旧的全局模型,DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率,同时也是第一个具有可证明的良好线性加速特性的 AFL 算法,从而表明其高可扩展性。
Feb, 2024
提出了一种全新的异步架构的多服务器联邦学习系统,解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题,与之前的基线方法相比,收敛速度更快且在地理分布环境中所需时间减少了 61%。
Jun, 2024
传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠,本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法,有效提升了收敛速度。
本文提出了一种异步在线联邦学习(ASO-Fed)框架,在其中,边缘设备使用连续的流本地数据进行在线学习,而中央服务器从客户端聚合模型参数,我们的框架以异步方式更新中央模型,以应对异构边缘设备的计算负载变化、滞后或丢失的挑战,我们在模拟基准图像数据集和三个真实的非独立同分布数据集上进行了大量实验,结果展示了该模型的快速收敛和良好的预测性能。
Nov, 2019
提出了一个缓冲异步联邦同时训练算法 FedAST,通过克服模型缓慢和自适应分配异构任务的客户资源来解决瓶颈问题,实验证明与现有同时联邦学习方法相比,能够达到多任务训练时间的最多 46.0% 的减少。
在非同步聯邦學習 (AFL) 的部署中,我們提出一種動態全球模型聚合方法,以應對異質設備和在客戶端之間非相同分佈的數據所帶來的性能挑戰。我們的聚合方法基於客戶端的上傳頻率對其模型更新的權重進行評分和調整,以適應設備能力的差異。此外,我們在客戶端上傳本地模型後立即提供更新的全球模型,以減少閒置時間並提高訓練效率。我們在由 10 個模擬客戶端組成的 AFL 部署中評估了我們的方法,這些客戶端具有異質的計算限制和非相同分佈的數據。使用 FashionMNIST 數據集的模擬結果顯示,與最先進的方法 PAPAYA 和 FedAsync 相比,全球模型的準確性分別提高了 10% 和 19%。我們的動態聚合方法即使在限制的客戶資源和統計數據異質性下也可以實現可靠的全球模型訓練,從而提高了現實世界的 FL 部署的韌性和可擴展性。
Jan, 2024
FedFa 是一种完全异步的训练范式,通过在服务器上使用少量缓冲结果进行参数更新,可以确保联邦学习的模型收敛并完全消除等待时间,实验证明该方法在 IID 和 Non-IID 场景下相较于同步和半异步策略提高了 6 倍和 4 倍的训练性能,并且保持了较高的准确性。
Apr, 2024
该研究提出了一种名为 FedLaAvg 的简单分布式非凸优化算法,用于解决在移动环境下采用联邦学习时客户端不连续可用的问题,并证明了其达到了收敛速度为 $ O (E^{1/2}/(N^{1/4} T^{1/2}))$ 的水平。
Feb, 2020
本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析,发现相关性如何不利地影响算法的收敛速率,并且介绍了一种新的算法 CA-Fed,在最大化收敛速度和最小化模型偏差之间寻求平衡,同时忽略了可用性低和相关性大的客户。实验结果表明,CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。
Jan, 2023
通过联邦学习解决异步模式下的执行阻塞问题,提出利用概率选择客户端和带宽分配来优化异步联邦学习的收敛速度和移动能源消耗的问题,并通过实验验证了该方法的优越性。
Nov, 2023