基于注意力的个性化联邦学习
本文提出了一种新的框架,联邦模型组件自注意 (FedMCSA),来处理非独立同分布的数据,该机制利用模型组件的自我关注机制来提高不同客户之间的合作,同时降低模型组件之间的干扰,从而显著提高联邦学习的性能。
Aug, 2022
在联邦学习中,为了解决不同客户端的局部数据异构性所带来的性能下降问题,提出了一种名为 pFedLA 的简单而有效的算法,该算法通过将关注机制纳入客户端的个性化模型,并保持关注块客户化,从而在任何联邦学习方法中提高其性能。
Apr, 2023
本文介绍了个性化联邦学习中客户端协作的新指南,允许客户端与其他客户端共享更多参数,从而改善模型性能。此外,我们还提出了一种名为 FedCAC 的新联邦学习方法,通过定量指标评估每个参数对非独立分布数据的敏感性,并根据该评估精选合作伙伴。实验结果表明,FedCAC 使客户端能够与其他客户端共享更多参数,在客户端数据分布多样的场景下取得了卓越的性能。
Sep, 2023
本文提出了一种自适应训练算法 AdaFL,该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率,实验结果表明相对于 FedAvg 算法,AdaFL 算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。
Aug, 2021
我们提出了一种新颖的动态亲和力个性化联邦学习模型(DA-PFL),以减轻联邦学习过程中的类不平衡问题。通过从互补的角度构建亲和度度量,并设计动态聚合策略来减少类不平衡风险,DA-PFL 模型可以显著提高三个真实世界数据集中每个客户的准确性。
Mar, 2024
通过 Lyapunov 优化的公平感知联邦用户选择(FairFedCS)方法可以在联邦学习中动态调整联邦用户的选择概率,根据联邦用户的声誉、参与联邦任务的次数和对最终模型性能的贡献,共同考虑性能和公平性。在真实的多媒体数据集上进行的大量实验表明,FairFedCS 平均实现了 19.6% 更高的公平性和 0.73% 更高的测试准确性,超过了最佳性能的现有方法。
Jul, 2023
FedALIGN 是一种选择参与联邦学习的非优先客户的匹配策略,基于他们的模型损失与全局数据的相似程度,以确保只有在对优先客户有益时才使用非优先客户的梯度,从而实现非优先客户的加入动机和优先客户的资源利用,且在各种合成和基准数据集上展示出更快的收敛速度和更高的测试准确性。
Oct, 2023
提出了一种称为 SocFedCS 的新的基于 Lyapunov 优化的优化客户端选择方案,其通过信任网络在移动联邦学习网络中最小化成本并训练高质量的联邦学习模型,在四个真实世界的多媒体数据集上的实验表明,它的平均测试准确率比最佳基线高 2.06%,成本低 12.24%。
May, 2023
在本文中,我们提出了一种自适应的聚类联邦学习框架,名为 FedAC,它通过解耦神经网络并为每个子模块使用不同的聚合方法,有效地将全局知识融合到簇内学习中,同时采用一种经济高效的在线模型相似度度量基于降维技术,以及一个用于改进复杂异构环境中自适应性和可扩展性的簇数微调模块。广泛的实验结果表明,相较于现有方法,FedAC 在不同的非独立同分布设置下,CIFAR-10 和 CIFAR-100 数据集的测试准确率分别提高了约 1.82% 和 12.67%。
Mar, 2024
该研究提出了一种新的算法,为参与联邦学习训练的客户分配自适应聚合权重,识别出最有利于特定学习目标的数据分布,实验证明通过该算法引导的合作在传统的联邦学习方法上取得了更好的表现,强调了客户选择的重要性。
Feb, 2024