本文提出了一种针对统计异质性和非独立同分布数据的个性化全局模型联邦学习方法,使用混合剪枝和非结构化剪枝找到每个客户端的小型子网络来实现模型的个性化,实验结果表明,具有相似标签数据的客户端共享类似的个性化参数。
May, 2021
本文提出了一种名为上下文化泛化(CG)的新概念,旨在为每个客户端提供更好地适合本地数据分布和更快模型收敛的细粒度上下文知识。作者还提出了CGPFL框架,在多个现实世界的数据集上进行了实验,证明了该方法在测试精度上显著优于最先进的方法。
Jun, 2021
提出了一种名为Heterogeneous Self-supervised Federated Learning(Hetero-SSFL)的统一框架,可以在异构客户端上进行协作表示学习,同时解决了系统异质性和标记数据匮乏等问题,并在非凸目标的异构性设置中提供了收敛保证,而且比现有方法表现更佳。
May, 2022
本文提出了一种个性化的联邦学习(CFL)系统,通过特殊设计的全局模型为每个客户定制个性化模型,采用在线训练的模型搜索辅助器和新型聚合算法,解决FL在多个维度上的异质性问题。实验证明,CFL在FL训练和边缘推断方面具有全栈优势,并显著改进了模型准确性(在非异构环境中高达7.2%,在异构环境中高达21.8%)、效率和公平性。
Feb, 2023
通过使用分布式自监督学习以及低位量化,Fed-QSSL 是一个旨在解决联邦学习系统中异质性的方案,并通过解量化、加权聚合和重新量化在客户端设备上创建个性化的模型,验证了该算法的有效性,并对低位训练对学习模型的收敛性和健壮性进行了理论分析。
Dec, 2023
我们提出了Fed-CO2,这是一个统一的联邦学习框架,用于处理标签分布倾斜和特征倾斜,通过在线和离线模型之间的合作机制来增强模型合作,同时设计了内部客户知识传递机制和客户间知识传递机制来增强模型之间的领域泛化能力。在处理标签分布倾斜和特征倾斜方面,我们的Fed-CO2在个体和整体上均优于现有的个性化联邦学习算法。
通过提出一种新的联邦学习框架,使得个性化联邦学习可以学习一个强健的全局模型,以在联邦学习系统中对未知的/测试客户端达到与个性化模型相当的性能。
Mar, 2024
本研究讨论了联邦学习中的数据异质性问题,并提出了一种个性化的联邦学习方法,名为pFedPM,通过特征上传来减少通信成本和允许异构客户端模型,实验证明该方法在MNIST、FEMNIST和CRIFAR10数据集上的通信效率优于其他联邦学习方法。
Jun, 2024
本研究解决了联邦学习(FL)中客户端缺乏标记数据的问题,特别是在只有服务器拥有少量标记数据的情况下。提出的(FL)²方法通过引入敏感度感知一致性正则化、客户端特定的自适应阈值和基于学习状态的聚合策略,显著提升了无标记客户端的训练效果,缩小了联邦半监督学习与集中半监督学习之间的性能差距。实验验证了该方法在标记数据稀缺场景下的有效性与潜在影响。
Oct, 2024
该研究解决了联邦学习在实际应用中面临的标签不足问题,特别是在只有服务器拥有少量标签数据的情况下。通过提出$(FL)^2$方法,该论文引入了敏感性-aware一致性正则化和客户端自适应阈值调整,显著提升了无标签客户端的训练效果,缩小了联邦半监督学习与集中式半监督学习之间的性能差距。