FedCore:无拖累的分布式核心集合联邦学习
本文提出了一种名为FedAT的新颖联邦学习方法,它通过异步分层训练和同步内部层训练的协同作用来减小杂散因素的影响,同时使用加权聚合启发式和基于折线编码的压缩算法,提高了收敛速度和预测性能,并最大程度地减小了通信成本。
Oct, 2020
本文提出了用于 Federated Learning 的一种新型抗 Straggler 算法,该算法结合客户端数据的统计特征,通过适应性选择客户端来加速学习过程并提高可伸缩性。我们的理论结果表明,相比于标准联邦基准,我们的方法对强凸目标能够获得速度提升,而我们的数值实验也证明了与联邦学习基准相比的显著加速。
Dec, 2020
本论文提出了一个数据异构鲁棒的联邦学习方法——FedGSP,该方法使用动态序列-并行协作训练的新概念,通过将FL客户端分配到同质组中最小化组与组之间的整体分布差异,增加并行度并通过一种新颖的Inter-Cluster Grouping (ICG)算法来辅助分配,该算法利用重心等价定理简化NP难问题,实验结果表明FedGSP相比七种现有方法平均提高了3.7%的准确率,并将训练时间和通信成本降低了90%以上。
Jan, 2022
基于梯度的鲁棒高效联邦学习(GCFL)算法提出了一种在每K轮通信选择coreset、从coreset中获取更新的方法,以账单客户数据噪声。实验证明GCFL相较于FL更具计算和能耗效率,对特征和标签的各种噪声具有鲁棒性,且保护了验证数据的隐私,带来了少量的通信开销但在客户数据有噪声时能够明显提高性能。
Jan, 2024
FedClust是一种聚类联邦学习方法,利用局部模型权重和客户数据分布之间的相关性将客户分组成簇,并动态地实时适应新加入的客户,实验结果表明FedClust在准确性和通信成本方面优于基线方法。
Mar, 2024
FedMap是一种新颖的方法,通过协作学习逐渐稀疏全局模型,从而提高联邦学习系统的通信效率,适用于对隐私至关重要的医疗和金融领域。它采用迭代的振幅剪枝方法训练全局模型,以减少通信开销,避免了参数重新激活问题,实现了稳定的性能表现。FedMap在多样的设置、数据集、模型架构和超参数中进行了广泛评估,证明了在IID和非IID环境下的性能,并相较于基线方法,FedMap能够达到更稳定的客户端模型性能,并在不降低准确性的情况下至少实现80%的剪枝。
Jun, 2024
通过测量局部模型权重的相似性,一种名为FedClust的新型聚类联邦学习方法,通过在一个步骤中将客户端分组成簇的方式,解决了非独立同分布数据情况下不均匀数据分布导致的性能下降问题,并且相比其他最先进方法,FedClust在模型精度上提高了高达约45%,并且在收敛速度上具有显著降低的通信成本,最高可达2.7倍。
Jul, 2024
本研究解决了联邦学习在无监督场景下的应用不足,提出了一种新颖的联邦聚类方法,实现无标签和不均匀数据分布下跨多个客户端的完整类别识别。通过设计联邦聚类逐步精炼方法(FedCRef),该方法显示出在无监督的联邦学习环境中显著提高数据表示精度的潜力。
Aug, 2024