FedAST: 分布式异步同时训练
本文提出了一种异步在线联邦学习(ASO-Fed)框架,在其中,边缘设备使用连续的流本地数据进行在线学习,而中央服务器从客户端聚合模型参数,我们的框架以异步方式更新中央模型,以应对异构边缘设备的计算负载变化、滞后或丢失的挑战,我们在模拟基准图像数据集和三个真实的非独立同分布数据集上进行了大量实验,结果展示了该模型的快速收敛和良好的预测性能。
Nov, 2019
本文提出了一种新的缓存异步聚合方法FedBuff,它结合了同步和异步federated learning的最佳属性,可在不影响系统隐私的情况下提高效率,大大缓解了跨设备联合学习中的可扩展性和隐私问题。
Jun, 2021
本文提出了一种异步FL框架,其采用定期聚合的方式消除了FL系统中的问题,并设计出多种装置调度和更新聚合策略以解决异构计算能力和训练数据分布的设备问题。通过模拟结果,我们得出结论,异步FL的调度和聚合设计可以不同于同步情况,并且适当的“年龄感知”加权设计可以极大地提高此类系统的学习性能。
Jul, 2021
本文提出了一种应用于多个下游任务的异步模型传输的联邦学习方法,通过引入调度张量来表征设备调度,并通过收敛性分析探究了资源分配、设备调度和个体模型状态等对机器学习性能的影响,进而通过非凸混合整数优化问题来调整资源分配和设备调度,以在能量消耗和性能之间达到高效平衡,并通过数值模拟揭示了该方法在模型性能和网络资源节约方面的优势。
May, 2023
提出一种用于协调和训练多个同时进行的联邦学习任务的系统,名为MAS(Merge and Split),通过多任务架构将多个任务合并为一个任务进行训练,并根据任务之间的亲和度在训练过程中将其拆分成两个或更多任务继续训练,实验证明MAS方法在性能优化方面胜过其他方法,同时减少训练时间2倍并降低40%的能源消耗。
Jul, 2023
我们提出了一种异步高效去中心化联邦学习框架,即AEDFL,它在异构环境中具有三个独特的贡献:首先,我们提出了一种异步的FL系统模型,并使用高效的模型聚合方法来改进FL的收敛性;其次,我们提出了一种动态过期感知的模型更新方法,以实现更高的准确性;第三,我们提出了一种自适应的稀疏训练方法,以降低通信和计算成本,同时准确性下降不显著。通过在四个公共数据集和四个模型上进行广泛的实验,证明了AEDFL在准确性(高达16.3%)、效率(高达92.9%)和计算成本(高达42.3%)方面的优势。
Dec, 2023
我们提出了一种高效的异步联邦学习(AFL)框架,称为延迟联邦平均(DeFedAvg),通过在自己的速度上使用不同陈旧的全局模型,DeFedAvg可以达到与FedAvg相当的渐近收敛速率,同时也是第一个具有可证明的良好线性加速特性的AFL算法,从而表明其高可扩展性。
Feb, 2024
FedFa是一种完全异步的训练范式,通过在服务器上使用少量缓冲结果进行参数更新,可以确保联邦学习的模型收敛并完全消除等待时间,实验证明该方法在IID和Non-IID场景下相较于同步和半异步策略提高了6倍和4倍的训练性能,并且保持了较高的准确性。
Apr, 2024
提出了一种全新的异步架构的多服务器联邦学习系统,解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题,与之前的基线方法相比,收敛速度更快且在地理分布环境中所需时间减少了61%。
Jun, 2024