异步多服务器联邦学习用于地理分布式客户端
本文提出了一种异步在线联邦学习(ASO-Fed)框架,在其中,边缘设备使用连续的流本地数据进行在线学习,而中央服务器从客户端聚合模型参数,我们的框架以异步方式更新中央模型,以应对异构边缘设备的计算负载变化、滞后或丢失的挑战,我们在模拟基准图像数据集和三个真实的非独立同分布数据集上进行了大量实验,结果展示了该模型的快速收敛和良好的预测性能。
Nov, 2019
本文提出了一种名为FedAT的新颖联邦学习方法,它通过异步分层训练和同步内部层训练的协同作用来减小杂散因素的影响,同时使用加权聚合启发式和基于折线编码的压缩算法,提高了收敛速度和预测性能,并最大程度地减小了通信成本。
Oct, 2020
该论文提出了一种名为LESSON的方法,它通过选择不同频率上传模型的客户端来解决异质客户端设置下的延迟问题,加速收敛速度并避免模型过度拟合。模拟结果表明,LESSON 的收敛速度比 FedAvg 和 FedCS 更快,模型准确性比 FedCS 更高。
Oct, 2022
提出了一种利用辍学技术处理分布式异构设备的异步联邦学习(FL)框架AsyncDrop,有效减少了通信成本和训练时间,提高了非iid FL场景的最终测试精度。
Oct, 2022
本文提出了一种应用于多个下游任务的异步模型传输的联邦学习方法,通过引入调度张量来表征设备调度,并通过收敛性分析探究了资源分配、设备调度和个体模型状态等对机器学习性能的影响,进而通过非凸混合整数优化问题来调整资源分配和设备调度,以在能量消耗和性能之间达到高效平衡,并通过数值模拟揭示了该方法在模型性能和网络资源节约方面的优势。
May, 2023
我们提出了一种异步高效去中心化联邦学习框架,即AEDFL,它在异构环境中具有三个独特的贡献:首先,我们提出了一种异步的FL系统模型,并使用高效的模型聚合方法来改进FL的收敛性;其次,我们提出了一种动态过期感知的模型更新方法,以实现更高的准确性;第三,我们提出了一种自适应的稀疏训练方法,以降低通信和计算成本,同时准确性下降不显著。通过在四个公共数据集和四个模型上进行广泛的实验,证明了AEDFL在准确性(高达16.3%)、效率(高达92.9%)和计算成本(高达42.3%)方面的优势。
Dec, 2023
我们提出了一种高效的异步联邦学习(AFL)框架,称为延迟联邦平均(DeFedAvg),通过在自己的速度上使用不同陈旧的全局模型,DeFedAvg可以达到与FedAvg相当的渐近收敛速率,同时也是第一个具有可证明的良好线性加速特性的AFL算法,从而表明其高可扩展性。
Feb, 2024
提出了一个缓冲异步联邦同时训练算法 FedAST,通过克服模型缓慢和自适应分配异构任务的客户资源来解决瓶颈问题,实验证明与现有同时联邦学习方法相比,能够达到多任务训练时间的最多46.0%的减少。
Jun, 2024
通过无需辅助服务器数据集并且不受落后节点限制的拜占庭容错和异步联邦学习算法,我们的解决方案可以更快地训练模型,在梯度反转攻击下最多能保持1.54倍准确率,而在扰动攻击下最多能保持1.75倍准确率。
Jun, 2024