基于特征分布适应的个性化联邦学习
本文提出了一种名为RepPer的独立的两阶段个性化联邦学习框架,其中包括非独立同分布数据(Non-IID data)对全局模型的表示学习的危害,并分离了表示学习和分类器学习,从而实现了个性化,并且在各种数据集和异构数据设置上的实验表明,RepPer 在非独立同分布数据上的灵活性和个性化方面优于其他方法。
Apr, 2022
本文提出了一种新的个性化联邦学习框架——FedBasis,它学习一组共享的“基础”模型,可以线性组合形成客户定制的模型,从而实现在低数据情况下减少推断成本,同时提高参数效率和鲁棒性。
Apr, 2023
提出一种名为 pFedGate 的方法,通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习,并通过轻量级可训练的门控层使客户端生成不同的稀疏模型,同时考虑到异构的数据分布和资源限制,实现了计算和通信的效率提高,理论上的收敛性和泛化误差更优越,实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率,并能够适应不同的数据分布。
May, 2023
个性化联邦学习 (PFL) 是在异构数据环境中进行去中心化学习的一种有前景的解决方案。通过选择性地更新本地模型参数而不是聚合所有参数,局部模型个性化提高了 PFL 的效率。本研究探讨了如何在 Vision Transformers (ViTs) 这类流行模型中部分个性化模型,根据各类型层对数据分布的敏感度,我们提出了一种名为 FedPerfix 的新方法,它利用插件将从聚合模型转移到本地客户端作为个性化信息。最后,我们通过对 CIFAR-100、OrganAMNIST 和 Office-Home 数据集进行评估,并与多种先进的 PFL 方法进行比较,证明了所提方法在提高模型性能方面的有效性。
Aug, 2023
我们提出了一种新型的个性化联邦学习框架pFedPG,通过在服务器上学习部署个性化提示生成器,生成适应本地数据分布的特定于客户端的视觉提示,以实现从大规模模型中获取强大表示能力同时为异构客户端实现高效个性化模型优化。
Aug, 2023
提出了基于特征提取器共享的异构个性化联邦学习方法(pFedES),该方法在不同客户端的本地模型中引入小型同质特征提取器,通过迭代学习方法进行训练,实现全局泛化知识和本地个性化知识的交换和共享,其理论上证明了pFedES能够在墙时收敛。在两个真实数据集上的广泛实验中,与六种最先进的方法相比,pFedES构建了最准确的模型,同时通信和计算成本较低,与最佳基准相比,测试准确性提高了1.61%,通信和计算成本分别降低了99.6%和82.9%。
Nov, 2023
个性化联邦学习(pFL)通过协同训练多个客户端来增强定制本地模型的能力。本文提出了一种名为FediOS的有效pFL方法,通过重新设计特征偏斜pFL的架构解耦设计,将模型分为两个特征提取器(通用和个性化)和一个共享预测头。通过正交投影将通用特征映射到一个公共子空间,并将个性化特征分散到不同的子空间以实现解耦。此外,在推理过程中,还训练了一个共享预测头来平衡通用特征和个性化特征的重要性。四个视觉数据集上的广泛实验证明了我们的方法在特征偏斜异质性下达到了最先进的pFL性能。
Nov, 2023
基于模型异构的个性化联邦学习通过自适应特征混合(pFedAFM)实现了训练不同结构个性化模型的联邦学习客户端,以应对非独立同分布的本地数据。
Apr, 2024
本研究讨论了联邦学习中的数据异质性问题,并提出了一种个性化的联邦学习方法,名为pFedPM,通过特征上传来减少通信成本和允许异构客户端模型,实验证明该方法在MNIST、FEMNIST和CRIFAR10数据集上的通信效率优于其他联邦学习方法。
Jun, 2024
本研究解决了联邦学习中的标签不平衡问题,即不同客户端之间可能存在部分类标签缺失的问题。我们提出了一种创新方法ReGL,通过生成模型在客户端合成补充缺失标签的图像,从而缓解标签不平衡。此外,我们的实验结果显示,该方法在多种图像分类数据集上显著优于现有技术,对联邦学习中的标签不平衡问题具有深远的影响。
Sep, 2024