个性化联邦学习技术:实证分析
本文提出了一种名为上下文化泛化(CG)的新概念,旨在为每个客户端提供更好地适合本地数据分布和更快模型收敛的细粒度上下文知识。作者还提出了CGPFL框架,在多个现实世界的数据集上进行了实验,证明了该方法在测试精度上显著优于最先进的方法。
Jun, 2021
本论文提出一种名为FedSpa的新型PFL方案,它采用个性化稀疏掩码来在边缘上自定义稀疏的本地模型,理论和实验表明,FedSpa不仅节省了通信和计算成本,而且在模型准确性和收敛速度方面表现优异。
Jan, 2022
提出了一种名为GPFL的新的个性化联邦学习方法,该方法在每个客户端上同时学习全局和个性化的特征信息,并在六个数据集上展示了GPFL在效果、可扩展性、公平性、稳定性和隐私方面优于十种最先进方法的优越性,此外,GPFL能够减轻过拟合问题,准确率比基线方法提高了8.99%。
Aug, 2023
本文介绍了个性化联邦学习中客户端协作的新指南,允许客户端与其他客户端共享更多参数,从而改善模型性能。此外,我们还提出了一种名为FedCAC的新联邦学习方法,通过定量指标评估每个参数对非独立分布数据的敏感性,并根据该评估精选合作伙伴。实验结果表明,FedCAC使客户端能够与其他客户端共享更多参数,在客户端数据分布多样的场景下取得了卓越的性能。
Sep, 2023
在本文中,我们基于联邦学习的范式,通过使用规范模型来捕捉异质人群的基本特征并利用会员向量揭示客户的偏好,开发了一个灵活且可解释的个性化框架 PPFL(Population Personalized Federated Learning),并探索了与多任务 PFL、聚类 FL 和解耦 PFL 三个主要分支的关系,证明了 PPFL 的优势。我们提出了一个新颖的随机块坐标下降算法来解决 PPFL(一个非凸约束优化问题)并给出了收敛性质。通过在病理数据集和实际数据集上进行实验,结果验证了 PPFL 的有效性。
Oct, 2023
联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习,同时确保了数据保密性。然而,由于不同客户数据分布导致的统计异质性问题,会带来一些挑战,例如不足的个性化和收敛速度慢。为了解决上述问题,本文简要总结了个性化联邦学习领域的当前研究进展,概述了个性化联邦学习的概念,审视了相关技术,并强调了当前的努力。此外,本文还讨论了个性化联邦学习的潜在进一步研究和障碍。
Feb, 2024
使用堆叠泛化的新型个性化方法,在保护隐私的情况下,直接发送模型来训练元模型,并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术,从而创建更适合个体客户数据的多个模型,并通过多方面评估每位客户对联邦的贡献。
Apr, 2024
本研究解决了个性化联邦学习中统计异质性对模型性能的影响,提出了一种新方法:个性化联邦学习与自适应特征聚合及知识转移(FedAFK)。该方法通过平衡全局模型知识与本地数据个性化的关系,显著提高了在非独立同分布数据上的个性化模型性能。
Oct, 2024