基于环形架构的TornadoAggregate:精确可扩展的联邦学习
介绍了一个开放的研究库和基准,名为FedML,旨在促进联邦学习算法的开发和公平性能比较,支持三种计算范例,并带有灵活和通用的 API 设计和全面的参考实现。
Jul, 2020
本文提出了一种名为FedAT的新颖联邦学习方法,它通过异步分层训练和同步内部层训练的协同作用来减小杂散因素的影响,同时使用加权聚合启发式和基于折线编码的压缩算法,提高了收敛速度和预测性能,并最大程度地减小了通信成本。
Oct, 2020
本文提出了用于 Federated Learning 的一种新型抗 Straggler 算法,该算法结合客户端数据的统计特征,通过适应性选择客户端来加速学习过程并提高可伸缩性。我们的理论结果表明,相比于标准联邦基准,我们的方法对强凸目标能够获得速度提升,而我们的数值实验也证明了与联邦学习基准相比的显著加速。
Dec, 2020
提出一种新的联邦学习框架,通过发送全局梯度估计的加速模型来引导本地梯度更新,从而改进了服务器端聚合步骤的稳定性,实现了自然聚合和传递全局更新信息,同时不需要额外的通信成本和客户机中存储过去的模型。在现实数据下进行全面的实证研究,证明了所提方法在精度和通信效率方面相对于现有方法的显着性能,尤其是在低客户端参与率下。
Jan, 2022
本文提出了第一个针对不同客户的异构和相关可用性的FedAvg类FL算法的收敛分析,发现相关性如何不利地影响算法的收敛速率,并且介绍了一种新的算法CA-Fed,在最大化收敛速度和最小化模型偏差之间寻求平衡,同时忽略了可用性低和相关性大的客户。实验结果表明,CA-Fed在合成数据集和实际数据集上比AdaFed和F3AST等现有算法具有更高的时间平均准确性和更低的标准差。
Jan, 2023
我们提出了一种异步高效去中心化联邦学习框架,即AEDFL,它在异构环境中具有三个独特的贡献:首先,我们提出了一种异步的FL系统模型,并使用高效的模型聚合方法来改进FL的收敛性;其次,我们提出了一种动态过期感知的模型更新方法,以实现更高的准确性;第三,我们提出了一种自适应的稀疏训练方法,以降低通信和计算成本,同时准确性下降不显著。通过在四个公共数据集和四个模型上进行广泛的实验,证明了AEDFL在准确性(高达16.3%)、效率(高达92.9%)和计算成本(高达42.3%)方面的优势。
Dec, 2023
本文提出了一种新颖的联邦聚合策略TurboSVM-FL,该策略在客户端不增加计算负担的情况下,能够显著加快联邦分类任务的收敛速度,尤其适用于客户端仅为下一次全局聚合训练几个时期的情况。TurboSVM-FL广泛利用支持向量机进行选择性聚合和类别嵌入的最大间隔扩展正则化。我们在多个数据集上使用用户独立验证和非独立同分布数据分布对TurboSVM-FL进行评估,结果显示TurboSVM-FL在收敛速度、通信轮次以及测试指标包括准确度、F1分数和MCC方面明显胜过现有的流行算法。
Jan, 2024
FedCore是一种用于解决分布式学习中节点效率的算法,通过在每个节点上分布式创建coresets来解决straggler问题,进而提高了federated learning的训练速度。
Jan, 2024
我们提出了一种高效的异步联邦学习(AFL)框架,称为延迟联邦平均(DeFedAvg),通过在自己的速度上使用不同陈旧的全局模型,DeFedAvg可以达到与FedAvg相当的渐近收敛速率,同时也是第一个具有可证明的良好线性加速特性的AFL算法,从而表明其高可扩展性。
Feb, 2024
通过引入时间驱动的异步聚合策略,以及使用区分性模型选择算法,提出了一种针对异构系统的同步联邦学习框架,该框架在提高系统效率和鲁棒性的同时,实现了对传统同步联邦学习的延迟减少50%和学习准确性平均提高3%的改进。
May, 2024