本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架,该框架针对异构数据问题进行建模,并应用 Bregman 散度约束来解决该问题。实验结果表明,在高斯先验和均值选择的一阶策略的前提下,pFedBreD 显著优于其他个性化联合学习算法。
Nov, 2022
本综述论文研究了个性化联邦学习(PFL)的领域,着重解决异构数据带来的基本问题,通过分类和分析 PFL 技术,提出其关键挑战和机会,并展望了未来研究的发展方向。
Mar, 2021
联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习,同时确保了数据保密性。然而,由于不同客户数据分布导致的统计异质性问题,会带来一些挑战,例如不足的个性化和收敛速度慢。为了解决上述问题,本文简要总结了个性化联邦学习领域的当前研究进展,概述了个性化联邦学习的概念,审视了相关技术,并强调了当前的努力。此外,本文还讨论了个性化联邦学习的潜在进一步研究和障碍。
Feb, 2024
该论文研究了联邦学习(FL)的个性化策略问题,并介绍了一种通过元网络(meta-nets)在 FL 网络中学习个性化策略的框架,该框架通过学习元网络的批量归一化和学习率参数来为每个客户端生成定制的个性化策略。实证结果表明,该框架在标签偏移和特征偏移情况下优于多种标准的手工个性化基线方法。
Oct, 2023
本文提出了一种名为 DFedAlt 的个性化联邦学习框架,采用分散的部分模型训练方法,取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数,在点对点的方式构建局部个性化模型,同时采用局部 SAM(Sharpness Aware Minimization)优化器来更新共享参数,从而有效地解决了模型共享一致性不足和通信成本过高等问题。
May, 2023
本文介绍了一种名为 DyPFL 的动态个性化联邦学习技术,将受训练意愿不同的客户纳入考虑,以提高收敛性能。结果表明,该算法可以在各种条件下优于替代个性化方法。
Aug, 2022
本文提出了一种基于图结构的结构化联邦学习框架(SFL),通过使用客户端之间的关系图形信息来加强 PFL 中的知识共享过程,并能够同时学习全局和个性化模型。SFL 可扩展到学习客户之间的隐藏关系,并证明了其在交通和图像基准数据集上的有效性。
Mar, 2022
个性化联邦学习的 PAC-PFL 算法在一个 PAC-Bayesian 框架中应用差分隐私处理数据相关的先验概率,协同学习共享超后验,并将每个客户的后验推断视为个性化步骤,通过建立和最小化客户平均真实风险的泛化界限,有效地抑制过度拟合,从而实现准确和良好校准的预测。
Jan, 2024
本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题,提出了一种更加通用的算法设计框架、攻击场景和防御方法,致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。
Feb, 2023
通过提出一种新的联邦学习框架,使得个性化联邦学习可以学习一个强健的全局模型,以在联邦学习系统中对未知的 / 测试客户端达到与个性化模型相当的性能。
Mar, 2024