异步联邦学习中实现线性加速
本文提出了一种异步在线联邦学习(ASO-Fed)框架,在其中,边缘设备使用连续的流本地数据进行在线学习,而中央服务器从客户端聚合模型参数,我们的框架以异步方式更新中央模型,以应对异构边缘设备的计算负载变化、滞后或丢失的挑战,我们在模拟基准图像数据集和三个真实的非独立同分布数据集上进行了大量实验,结果展示了该模型的快速收敛和良好的预测性能。
Nov, 2019
该研究提出了一种名为FedLaAvg的简单分布式非凸优化算法,用于解决在移动环境下采用联邦学习时客户端不连续可用的问题,并证明了其达到了收敛速度为$ O(E^{1/2}/(N^{1/4}T^{1/2}))$的水平。
Feb, 2020
提出了一种利用辍学技术处理分布式异构设备的异步联邦学习(FL)框架AsyncDrop,有效减少了通信成本和训练时间,提高了非iid FL场景的最终测试精度。
Oct, 2022
我们提出了一种异步高效去中心化联邦学习框架,即AEDFL,它在异构环境中具有三个独特的贡献:首先,我们提出了一种异步的FL系统模型,并使用高效的模型聚合方法来改进FL的收敛性;其次,我们提出了一种动态过期感知的模型更新方法,以实现更高的准确性;第三,我们提出了一种自适应的稀疏训练方法,以降低通信和计算成本,同时准确性下降不显著。通过在四个公共数据集和四个模型上进行广泛的实验,证明了AEDFL在准确性(高达16.3%)、效率(高达92.9%)和计算成本(高达42.3%)方面的优势。
Dec, 2023
在异构环境中,提出了一种新颖的联邦学习训练框架,考虑了真实环境中客户端的各种网络速度差异。该框架集成了异步学习算法和修剪技术,有效解决了传统联邦学习算法在涉及异构设备的场景中的低效问题,同时解决了异步算法中某些客户端训练不充分和过时问题。通过在训练过程中逐步恢复模型大小,该框架加快了模型训练速度,同时保留了模型准确性。此外,还引入了改进的联邦学习聚合过程,包括缓冲机制,使异步联邦学习能够像同步学习一样进行操作。另外,在服务器向客户端传输全局模型的过程中进行了优化,减少了通信开销。我们在各种数据集上的实验表明:相对于传统的异步联邦学习和异构联邦学习,我们的方法在减少训练时间和提高收敛准确性方面取得了显著的改进;我们的方法在存在异构客户端和非独立同分布客户端数据的场景中优势更加明显。
Mar, 2024
FedFa是一种完全异步的训练范式,通过在服务器上使用少量缓冲结果进行参数更新,可以确保联邦学习的模型收敛并完全消除等待时间,实验证明该方法在IID和Non-IID场景下相较于同步和半异步策略提高了6倍和4倍的训练性能,并且保持了较高的准确性。
Apr, 2024
提出了一个缓冲异步联邦同时训练算法 FedAST,通过克服模型缓慢和自适应分配异构任务的客户资源来解决瓶颈问题,实验证明与现有同时联邦学习方法相比,能够达到多任务训练时间的最多46.0%的减少。
Jun, 2024
提出了一种全新的异步架构的多服务器联邦学习系统,解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题,与之前的基线方法相比,收敛速度更快且在地理分布环境中所需时间减少了61%。
Jun, 2024