基于特征融合的个性化联邦学习
本文提出自监督联邦学习框架(SSFL),包括标签不足、数据异构性等挑战,并提出一系列算法,如Per-SSFL、FedAvg和SimSiam等。作者还开发了一个分布式训练系统和相关评估协议,发现监督和非监督学习之间的性能差距小。
Oct, 2021
研究个性化联邦学习中如何利用服务器数据来提高meta-gradient计算以增加个性化性能的FedSIM方法,并通过各种基准测试和消融实验证明其优于现有方法,不仅计算效率更高,而且收敛速度高达34.2%。
May, 2022
提出一种结合局部模型聚合与神经网络解耦技术的个性化联邦学习算法(pFedSim),在保护数据隐私的前提下,显著提高模型精度且计算和通信开销低。
May, 2023
提出了基于特征提取器共享的异构个性化联邦学习方法(pFedES),该方法在不同客户端的本地模型中引入小型同质特征提取器,通过迭代学习方法进行训练,实现全局泛化知识和本地个性化知识的交换和共享,其理论上证明了pFedES能够在墙时收敛。在两个真实数据集上的广泛实验中,与六种最先进的方法相比,pFedES构建了最准确的模型,同时通信和计算成本较低,与最佳基准相比,测试准确性提高了1.61%,通信和计算成本分别降低了99.6%和82.9%。
Nov, 2023
我们提出了Fed-CO2,这是一个统一的联邦学习框架,用于处理标签分布倾斜和特征倾斜,通过在线和离线模型之间的合作机制来增强模型合作,同时设计了内部客户知识传递机制和客户间知识传递机制来增强模型之间的领域泛化能力。在处理标签分布倾斜和特征倾斜方面,我们的Fed-CO2在个体和整体上均优于现有的个性化联邦学习算法。
Dec, 2023
联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习,同时确保了数据保密性。然而,由于不同客户数据分布导致的统计异质性问题,会带来一些挑战,例如不足的个性化和收敛速度慢。为了解决上述问题,本文简要总结了个性化联邦学习领域的当前研究进展,概述了个性化联邦学习的概念,审视了相关技术,并强调了当前的努力。此外,本文还讨论了个性化联邦学习的潜在进一步研究和障碍。
Feb, 2024
使用堆叠泛化的新型个性化方法,在保护隐私的情况下,直接发送模型来训练元模型,并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术,从而创建更适合个体客户数据的多个模型,并通过多方面评估每位客户对联邦的贡献。
Apr, 2024
基于模型异构的个性化联邦学习通过自适应特征混合(pFedAFM)实现了训练不同结构个性化模型的联邦学习客户端,以应对非独立同分布的本地数据。
Apr, 2024
本研究针对联邦学习中数据层异构性的问题,提出了一种新的联邦原型修正方法与个性化相结合的方案,称为偏斜异构联邦学习(SHFL)。该方法通过构建平衡的决策边界和修正经验原型,显著提高了个性化与普适性的平衡表现,超越了当前的先进技术。
Aug, 2024
本研究解决了个性化联邦学习中统计异质性对模型性能的影响,提出了一种新方法:个性化联邦学习与自适应特征聚合及知识转移(FedAFK)。该方法通过平衡全局模型知识与本地数据个性化的关系,显著提高了在非独立同分布数据上的个性化模型性能。
Oct, 2024