May, 2024

FedMAP：通过双层映射优化解锁个性化联邦学习的潜力

PDF
TL;DR一个基于双层优化的贝叶斯个性化联邦学习框架，利用全局模型作为先验分布，在个性化客户模型的最大后验估计中集成共享知识，从而增强本地模型性能、泛化能力和通信效率，以解决联邦学习中非独立同分布数据带来的挑战。
federated learningdata privacynon-iid datasetspersonalized flbayesian pfl
发现论文，激发创造
  • 异构和长尾数据上的多层个性化联邦学习

    MuPFL 是一种创新的个性化联邦学习框架，通过多层次结构完全利用不同层次的计算资源，解决数据异质性对模型偏差的影响，缓解过拟合、加速训练，提高分类准确性，并在非独立同分布和长尾条件下取得显著的有效性和效率方面的进展。

    May, 2024

  • 个性化先验隐藏信息联邦学习

    本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架，该框架针对异构数据问题进行建模，并应用 Bregman 散度约束来解决该问题。实验结果表明，在高斯先验和均值选择的一阶策略的前提下，pFedBreD 显著优于其他个性化联合学习算法。

    Nov, 2022

  • 个性化联邦学习的概率模型：一种 PAC-Bayesian 方法

    个性化联邦学习的 PAC-PFL 算法在一个 PAC-Bayesian 框架中应用差分隐私处理数据相关的先验概率，协同学习共享超后验，并将每个客户的后验推断视为个性化步骤，通过建立和最小化客户平均真实风险的泛化界限，有效地抑制过度拟合，从而实现准确和良好校准的预测。

    Jan, 2024

  • 动态个性化联邦学习与激励

    本文介绍了一种名为 DyPFL 的动态个性化联邦学习技术，将受训练意愿不同的客户纳入考虑，以提高收敛性能。结果表明，该算法可以在各种条件下优于替代个性化方法。

    Aug, 2022

  • FedL2P：个性化联邦学习

    该论文研究了联邦学习（FL）的个性化策略问题，并介绍了一种通过元网络（meta-nets）在 FL 网络中学习个性化策略的框架，该框架通过学习元网络的批量归一化和学习率参数来为每个客户端生成定制的个性化策略。实证结果表明，该框架在标签偏移和特征偏移情况下优于多种标准的手工个性化基线方法。

    Oct, 2023

  • FedPop：个性化联邦学习的贝叶斯方法

    本文提出 FedPop 方法，将个性化联邦学习重新定义为种群建模范式，利用群体参数和随机效应解释数据异质性，并通过马尔科夫链蒙特卡洛方法引入新类联邦随机优化算法提供不确定性量化，从而满足新客户、小观测样本数据的实时学习需求。

    Jun, 2022

  • Federated Learning 中的模型聚合和个性化（含不完整类别）

    在联邦学习中，我们提出了一种名为 MAP 的算法，旨在解决分布在不完整类别数据上的模型聚合和个性化挑战，通过引入限制性 softmax 替代标准 softmax 以提高模型聚合效果，并利用继承的个性化模型来存储个性化经验。大量实验证明了我们算法的优越性。

    Apr, 2024

  • 通过去中心化的部分模型训练实现更适合个性化的联邦学习

    本文提出了一种名为 DFedAlt 的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部 SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

    May, 2023

  • 个性化联邦学习基于堆叠

    使用堆叠泛化的新型个性化方法，在保护隐私的情况下，直接发送模型来训练元模型，并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术，从而创建更适合个体客户数据的多个模型，并通过多方面评估每位客户对联邦的贡献。

    Apr, 2024

  • PRIOR: 个性化先验用于再激活在联邦学习中被忽视的信息

    提出了一种新颖的个性化联邦学习方案，通过向每个客户端的全局模型注入个性化先验知识来减轻个性化联邦学习中引入的不完整信息问题，在个性化场景中具有更大的适应性，通过收敛分析和大量实验结果验证了该方法的鲁棒性和必要性。

    Oct, 2023