PFLlib:个性化联邦学习算法库
提出了一种名为 GPFL 的新的个性化联邦学习方法,该方法在每个客户端上同时学习全局和个性化的特征信息,并在六个数据集上展示了 GPFL 在效果、可扩展性、公平性、稳定性和隐私方面优于十种最先进方法的优越性,此外,GPFL 能够减轻过拟合问题,准确率比基线方法提高了 8.99%。
Aug, 2023
使用堆叠泛化的新型个性化方法,在保护隐私的情况下,直接发送模型来训练元模型,并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术,从而创建更适合个体客户数据的多个模型,并通过多方面评估每位客户对联邦的贡献。
Apr, 2024
Federated learning 是一种新兴的机器学习训练范例,其通过在模拟环境中迭代实验来快速提出想法,pfl-research 是一个快速、模块化、易于使用的 Python 框架,支持 TensorFlow、PyTorch 和非神经网络模型,并与最先进的隐私算法紧密结合,研究表明它比其他开源框架快 7-72 倍,大大提高了 FL 研究社区的生产效率,同时使先前的资源密集型任务成为可能。
Apr, 2024
在本文中,我们基于联邦学习的范式,通过使用规范模型来捕捉异质人群的基本特征并利用会员向量揭示客户的偏好,开发了一个灵活且可解释的个性化框架 PPFL(Population Personalized Federated Learning),并探索了与多任务 PFL、聚类 FL 和解耦 PFL 三个主要分支的关系,证明了 PPFL 的优势。我们提出了一个新颖的随机块坐标下降算法来解决 PPFL(一个非凸约束优化问题)并给出了收敛性质。通过在病理数据集和实际数据集上进行实验,结果验证了 PPFL 的有效性。
Oct, 2023
联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习,同时确保了数据保密性。然而,由于不同客户数据分布导致的统计异质性问题,会带来一些挑战,例如不足的个性化和收敛速度慢。为了解决上述问题,本文简要总结了个性化联邦学习领域的当前研究进展,概述了个性化联邦学习的概念,审视了相关技术,并强调了当前的努力。此外,本文还讨论了个性化联邦学习的潜在进一步研究和障碍。
Feb, 2024
本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架,该框架针对异构数据问题进行建模,并应用 Bregman 散度约束来解决该问题。实验结果表明,在高斯先验和均值选择的一阶策略的前提下,pFedBreD 显著优于其他个性化联合学习算法。
Nov, 2022
本文提出了一种名为 DFedAlt 的个性化联邦学习框架,采用分散的部分模型训练方法,取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数,在点对点的方式构建局部个性化模型,同时采用局部 SAM(Sharpness Aware Minimization)优化器来更新共享参数,从而有效地解决了模型共享一致性不足和通信成本过高等问题。
May, 2023
本文提出了一种基于图结构的结构化联邦学习框架(SFL),通过使用客户端之间的关系图形信息来加强 PFL 中的知识共享过程,并能够同时学习全局和个性化模型。SFL 可扩展到学习客户之间的隐藏关系,并证明了其在交通和图像基准数据集上的有效性。
Mar, 2022
本文提出了一种名为 PeFLL 的个性化联邦学习方法,通过联合训练嵌入网络和超级网络来输出特定客户端的模型,并证明了其较以往方法在精度和规模等方面都更具优势,还提供了一种新的理论结果以支持该方法的可行性。
Jun, 2023