FedCliP: 客户端修剪的联邦学习
本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案,在受通信限制的情况下,通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型,实现了在保证性能的同时显著减少了通信量,为联邦学习提供了一种新的通信效率优化方案。
Jul, 2020
提出了一种叫作FedPrune的系统,通过剪枝全局模型来解决Federated learning中的系统异构和统计异构所引起的问题,并利用中心极限定理的洞见来实现在非独立同分布数据上的强健性性能,并与Federated Averaging相比,FedPrune提供了更好的鲁棒性和公平性。
Oct, 2021
提出了一种基于Collaborative Pruning机制的Model Pruning方法,名为Complement Sparsification(CS)。该方法能够减少通信开销,降低客户端的计算复杂度,并在保持模型准确性的同时实现分布式机器学习,尤其适用于移动端和物联网设备。
Mar, 2023
本文介绍一种针对分布式学习中计算和通信优化的显式FL剪枝框架(FedLP),采用层次剪枝在本地训练和协作更新中,两种特定方案的实验验证表明FedLP可以减轻通信和计算瓶颈并具有良好的性能。FedLP是将层次剪枝正式引入FL的第一个框架。
Mar, 2023
FedALIGN是一种选择参与联邦学习的非优先客户的匹配策略,基于他们的模型损失与全局数据的相似程度,以确保只有在对优先客户有益时才使用非优先客户的梯度,从而实现非优先客户的加入动机和优先客户的资源利用,且在各种合成和基准数据集上展示出更快的收敛速度和更高的测试准确性。
Oct, 2023
FedClust是一种聚类联邦学习方法,利用局部模型权重和客户数据分布之间的相关性将客户分组成簇,并动态地实时适应新加入的客户,实验结果表明FedClust在准确性和通信成本方面优于基线方法。
Mar, 2024
该研究论文介绍了稀疏训练和加速通信在Federated Learning中的整合方法Sparse-ProxSkip,并在大量实验证明了其良好性能。
May, 2024
FedMap是一种新颖的方法,通过协作学习逐渐稀疏全局模型,从而提高联邦学习系统的通信效率,适用于对隐私至关重要的医疗和金融领域。它采用迭代的振幅剪枝方法训练全局模型,以减少通信开销,避免了参数重新激活问题,实现了稳定的性能表现。FedMap在多样的设置、数据集、模型架构和超参数中进行了广泛评估,证明了在IID和非IID环境下的性能,并相较于基线方法,FedMap能够达到更稳定的客户端模型性能,并在不降低准确性的情况下至少实现80%的剪枝。
Jun, 2024
通过测量局部模型权重的相似性,一种名为FedClust的新型聚类联邦学习方法,通过在一个步骤中将客户端分组成簇的方式,解决了非独立同分布数据情况下不均匀数据分布导致的性能下降问题,并且相比其他最先进方法,FedClust在模型精度上提高了高达约45%,并且在收敛速度上具有显著降低的通信成本,最高可达2.7倍。
Jul, 2024