FedAST: 分布式异步同时训练
提出了一种全新的异步架构的多服务器联邦学习系统,解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题,与之前的基线方法相比,收敛速度更快且在地理分布环境中所需时间减少了 61%。
Jun, 2024
提出一种用于协调和训练多个同时进行的联邦学习任务的系统,名为 MAS(Merge and Split),通过多任务架构将多个任务合并为一个任务进行训练,并根据任务之间的亲和度在训练过程中将其拆分成两个或更多任务继续训练,实验证明 MAS 方法在性能优化方面胜过其他方法,同时减少训练时间 2 倍并降低 40% 的能源消耗。
Jul, 2023
我们提出了一种高效的异步联邦学习(AFL)框架,称为延迟联邦平均(DeFedAvg),通过在自己的速度上使用不同陈旧的全局模型,DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率,同时也是第一个具有可证明的良好线性加速特性的 AFL 算法,从而表明其高可扩展性。
Feb, 2024
本文提出了一种名为 FedAT 的新颖联邦学习方法,它通过异步分层训练和同步内部层训练的协同作用来减小杂散因素的影响,同时使用加权聚合启发式和基于折线编码的压缩算法,提高了收敛速度和预测性能,并最大程度地减小了通信成本。
Oct, 2020
本文提出了一种应用于多个下游任务的异步模型传输的联邦学习方法,通过引入调度张量来表征设备调度,并通过收敛性分析探究了资源分配、设备调度和个体模型状态等对机器学习性能的影响,进而通过非凸混合整数优化问题来调整资源分配和设备调度,以在能量消耗和性能之间达到高效平衡,并通过数值模拟揭示了该方法在模型性能和网络资源节约方面的优势。
May, 2023
通过无需辅助服务器数据集并且不受落后节点限制的拜占庭容错和异步联邦学习算法,我们的解决方案可以更快地训练模型,在梯度反转攻击下最多能保持 1.54 倍准确率,而在扰动攻击下最多能保持 1.75 倍准确率。
Jun, 2024
TimelyFL 是一个异步的 FL 框架,它具有自适应的部分训练能力,用于处理异构设备之间的差异和连接不可靠性。实验表明,与现有同类方法相比,它提高了参与率 21.13%,收敛率 1.28-2.89 倍,测试精度提高了 6.25%。
Apr, 2023
FedFa 是一种完全异步的训练范式,通过在服务器上使用少量缓冲结果进行参数更新,可以确保联邦学习的模型收敛并完全消除等待时间,实验证明该方法在 IID 和 Non-IID 场景下相较于同步和半异步策略提高了 6 倍和 4 倍的训练性能,并且保持了较高的准确性。
Apr, 2024
FLASH 是一个轻量级、灵活的客户端选择算法,通过权衡与客户端数据质量、数据分布和延迟相关的统计信息来优化各种异质性源,从而在广泛的异质性源下优于最先进的 FL 框架。
Feb, 2024