本文调查了针对非独立同分布数据的个性化联邦学习的研究,此技术可让多方参与联合学习,从而达到隐私保护的目的。
Mar, 2020
本文提出了一种个性化的联邦学习方法,通过每个客户只与相关客户联合训练模型,实现客户自定义目标分布的最优加权模型组合,且不需要知道任何数据分布或客户相似性的先验知识,该方法在多个联邦学习场景和数据集下表现优异,同时也支持个性化的迁移学习。
Dec, 2020
本文提出了一种针对统计异质性和非独立同分布数据的个性化全局模型联邦学习方法,使用混合剪枝和非结构化剪枝找到每个客户端的小型子网络来实现模型的个性化,实验结果表明,具有相似标签数据的客户端共享类似的个性化参数。
May, 2021
本文提出了一种名为上下文化泛化(CG)的新概念,旨在为每个客户端提供更好地适合本地数据分布和更快模型收敛的细粒度上下文知识。作者还提出了CGPFL框架,在多个现实世界的数据集上进行了实验,证明了该方法在测试精度上显著优于最先进的方法。
Jun, 2021
本文介绍了一种名为DyPFL的动态个性化联邦学习技术,将受训练意愿不同的客户纳入考虑,以提高收敛性能。结果表明,该算法可以在各种条件下优于替代个性化方法。
Aug, 2022
本文提出了一种名为FedNH的新方法,通过组合类原型的均匀性和语义来改善在分类设置中的数据不均衡问题。实验证明了该方法对于局部模型的个性化和概括性都有显著的提高。
Dec, 2022
该论文研究了联邦学习(FL)的个性化策略问题,并介绍了一种通过元网络(meta-nets)在FL网络中学习个性化策略的框架,该框架通过学习元网络的批量归一化和学习率参数来为每个客户端生成定制的个性化策略。实证结果表明,该框架在标签偏移和特征偏移情况下优于多种标准的手工个性化基线方法。
Oct, 2023
通过引入混合专家方法,我们提出了一种新颖的模型异构个性化联邦学习算法(FedMoE),用于解决当前模型异构个性化联邦学习方法中的数据和模型隐私、模型性能、通信和计算成本等问题。该算法通过在本地训练过程中结合全局和本地特征来提高模型的个性化能力,并通过信息聚合实现跨客户端的模型参数融合。
Feb, 2024
本研究解决了非独立同分布(non-iid)数据在联邦学习中的异质性问题,特别是概念转移引起的异质性。提出了一种名为FLoRAL的参数高效框架,通过低秩适配器(LoRAs)为不同客户端的多任务学习需求提供个性化支持,显示出在内存效率和性能上的优势。实验结果表明,FLoRAL相较于集成模型在个性化和鲁棒性方面表现更佳。
Oct, 2024
本研究解决了个性化联邦学习中统计异质性对模型性能的影响,提出了一种新方法:个性化联邦学习与自适应特征聚合及知识转移(FedAFK)。该方法通过平衡全局模型知识与本地数据个性化的关系,显著提高了在非独立同分布数据上的个性化模型性能。