CVPRMay, 2023

可信个性化联邦学习：基于变分期望最大化的方法

PDF
TL;DR本文提出的基于分层贝叶斯模型和变分推断的个人化联邦学习算法，引入全局模型作为潜在变量，以捕捉不同客户端之间的公共趋势，使用变分期望最大化技术训练模型并得出包含客户端参数不确定性和本地模型偏差的置信度评估，进而对客户端参数进行加权，优化全局模型的正则化效果，在多个数据集上进行了大量实证研究并证明了其优越性。
发现论文，激发创造
  • 个性化先验隐藏信息联邦学习

    本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架，该框架针对异构数据问题进行建模，并应用 Bregman 散度约束来解决该问题。实验结果表明，在高斯先验和均值选择的一阶策略的前提下，pFedBreD 显著优于其他个性化联合学习算法。

    Nov, 2022

  • 个性化联邦学习的概率模型：一种 PAC-Bayesian 方法

    个性化联邦学习的 PAC-PFL 算法在一个 PAC-Bayesian 框架中应用差分隐私处理数据相关的先验概率，协同学习共享超后验，并将每个客户的后验推断视为个性化步骤，通过建立和最小化客户平均真实风险的泛化界限，有效地抑制过度拟合，从而实现准确和良好校准的预测。

    Jan, 2024

  • 基于变分贝叶斯推断的个性化联邦学习

    本文提出了一种名为 pFedBayes 的新型个性化联合学习方法，采用贝叶斯变分推理，通过引入权重不确定性来减轻模型过拟合的问题，在满足客户端全局分布的 KL 散度的同时，通过平衡私有数据的构造误差来更新其本地分布参数，理论分析说明了平均泛化误差的上界和收敛速度，实验结果表明，该方法在个性化模型方面表现出色，相较于其他先进的个性化方法，例如在非 i.i.d. 有限的数据下，pFedBayes 在 MNIST、FMNIST 和 CIFAR-10 上分别比其他 SOTA 算法的结果更好，分别提高了 1.25%、0.42% 和 11.71%。

    Jun, 2022

  • 具有共享和个性化不确定性表示的贝叶斯个性化联邦学习

    Bayesian 个性化联邦学习（BPFL）通过统计上异质的客户数据来量化客户内部及客户间的不确定性和异质性，并将隐藏的神经表示分解成共享和本地组件，并联合学习共享和个性化的不确定性表示。

    Sep, 2023

  • 个性化联邦学习基于堆叠

    使用堆叠泛化的新型个性化方法，在保护隐私的情况下，直接发送模型来训练元模型，并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术，从而创建更适合个体客户数据的多个模型，并通过多方面评估每位客户对联邦的贡献。

    Apr, 2024

  • FedPop：个性化联邦学习的贝叶斯方法

    本文提出 FedPop 方法，将个性化联邦学习重新定义为种群建模范式，利用群体参数和随机效应解释数据异质性，并通过马尔科夫链蒙特卡洛方法引入新类联邦随机优化算法提供不确定性量化，从而满足新客户、小观测样本数据的实时学习需求。

    Jun, 2022

  • FedHB：分层贝叶斯联邦学习

    提出了一个新的基于层次贝叶斯方法的联邦学习的优化算法，该算法可以不泄露任何的私有数据，并且具有通用的收敛性和泛化性能。

    May, 2023

  • 异构和长尾数据上的多层个性化联邦学习

    MuPFL 是一种创新的个性化联邦学习框架，通过多层次结构完全利用不同层次的计算资源，解决数据异质性对模型偏差的影响，缓解过拟合、加速训练，提高分类准确性，并在非独立同分布和长尾条件下取得显著的有效性和效率方面的进展。

    May, 2024

  • FedMAP：通过双层映射优化解锁个性化联邦学习的潜力

    一个基于双层优化的贝叶斯个性化联邦学习框架，利用全局模型作为先验分布，在个性化客户模型的最大后验估计中集成共享知识，从而增强本地模型性能、泛化能力和通信效率，以解决联邦学习中非独立同分布数据带来的挑战。

    May, 2024

  • 在线拉普拉斯近似贝叶斯联邦学习框架

    本文提出了一种使用 Laplace 近似方法的联邦学习框架，其中使用多元高斯乘积机制构建并最大化全局概率分布，区分客户端之间的巨大差异，在客户端使用全局后验概率参数，通过学习约束减少了本地选择性遗忘，并在多个基准测试中实现了最先进的结果。

    Feb, 2021