ICCVSep, 2023

大胆而谨慎：通过谨慎激进的合作释放个性化联邦学习的潜力

PDF
TL;DR本文介绍了个性化联邦学习中客户端协作的新指南，允许客户端与其他客户端共享更多参数，从而改善模型性能。此外，我们还提出了一种名为 FedCAC 的新联邦学习方法，通过定量指标评估每个参数对非独立分布数据的敏感性，并根据该评估精选合作伙伴。实验结果表明，FedCAC 使客户端能够与其他客户端共享更多参数，在客户端数据分布多样的场景下取得了卓越的性能。
personalized federated learningnon-iid datacollaborationdata distributionmodel performance
发现论文，激发创造
  • 个性化先验隐藏信息联邦学习

    本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架，该框架针对异构数据问题进行建模，并应用 Bregman 散度约束来解决该问题。实验结果表明，在高斯先验和均值选择的一阶策略的前提下，pFedBreD 显著优于其他个性化联合学习算法。

    Nov, 2022

  • 动态个性化联邦学习与激励

    本文介绍了一种名为 DyPFL 的动态个性化联邦学习技术，将受训练意愿不同的客户纳入考虑，以提高收敛性能。结果表明，该算法可以在各种条件下优于替代个性化方法。

    Aug, 2022

  • 个性化联邦学习基于堆叠

    使用堆叠泛化的新型个性化方法，在保护隐私的情况下，直接发送模型来训练元模型，并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术，从而创建更适合个体客户数据的多个模型，并通过多方面评估每位客户对联邦的贡献。

    Apr, 2024

  • 针对统计异质性的个性化联邦学习

    联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习，同时确保了数据保密性。然而，由于不同客户数据分布导致的统计异质性问题，会带来一些挑战，例如不足的个性化和收敛速度慢。为了解决上述问题，本文简要总结了个性化联邦学习领域的当前研究进展，概述了个性化联邦学习的概念，审视了相关技术，并强调了当前的努力。此外，本文还讨论了个性化联邦学习的潜在进一步研究和障碍。

    Feb, 2024

  • 通过去中心化的部分模型训练实现更适合个性化的联邦学习

    本文提出了一种名为 DFedAlt 的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部 SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

    May, 2023

  • 基于注意力的个性化联邦学习

    个性化联邦学习方法 (FedACS) 关注非独立同分布数据与数据稀缺问题，通过引入注意力机制提高具有相似数据分布的客户之间的协作，优化资源分配，表现出与众不同的优势，从而推动个性化联邦学习领域的进步。

    Dec, 2023

  • 个性化联邦学习的概率模型：一种 PAC-Bayesian 方法

    个性化联邦学习的 PAC-PFL 算法在一个 PAC-Bayesian 框架中应用差分隐私处理数据相关的先验概率，协同学习共享超后验，并将每个客户的后验推断视为个性化步骤，通过建立和最小化客户平均真实风险的泛化界限，有效地抑制过度拟合，从而实现准确和良好校准的预测。

    Jan, 2024

  • 走向个性化联邦学习

    本综述论文研究了个性化联邦学习（PFL）的领域，着重解决异构数据带来的基本问题，通过分类和分析 PFL 技术，提出其关键挑战和机会，并展望了未来研究的发展方向。

    Mar, 2021

  • 去中心化个性化联邦学习

    通过在分散式联邦学习中创建协作图，选择适合的合作方，从而解决数据异构性和通信限制带来的挑战。我们的方法通过一种新颖的、通信高效的策略来解决这些问题，提高资源效率。与传统方法不同，我们的方法通过考虑客户的组合关系在粒度级别上识别合作伙伴，增强个性化同时最小化通信开销。我们通过使用约束贪婪算法的双层优化框架实现这一目标，从而为个性化学习提供资源高效的协作图。通过在各种基准数据集上进行大规模评估，我们证明了我们的方法 DPFL 在处理实际数据异构性、最小化通信开销、提高资源效率以及在分散式联邦学习场景中构建个性化模型方面的优越性。

    Jun, 2024

  • 部分个性化联邦学习：打破数据异构的诅咒

    本文介绍了一种部分个性化的联邦学习（FL）方法，旨在在个性化和全局训练的灵活性之间取得平衡，并提出了一种简单的算法来解决数据异构性问题。

    May, 2023