Jun, 2024

基于贝叶斯伪核心集的一次性联邦学习

PDF
TL;DR基于优化的技术在联邦学习中通常具有高昂的通信成本，本文提出了一种基于贝叶斯方法的联邦学习算法，通过分布函数空间推断实现了仅需一次通信，并且在多模态条件下能够更好地进行近似推断，从而大大降低了通信成本。此算法在预测性能方面与最新技术水平相当，并能提供可靠的不确定性估计。
federated learningoptimization-based techniquescommunication costmulti-modal likelihoodsbayesian fl algorithm
发现论文，激发创造
  • 在预测空间中使用贝叶斯推理的校准一轮联邦学习

    提出了一种新的贝叶斯联邦学习算法 ——$eta$-Predictive Bayes，它能够在数据异质性增加的情况下提升全局模型的校准性能。该算法通过对预测后验概率的混合和乘积进行插值，利用可调参数 $eta$ 来优化全局模型的校准性，并将结果融合到单个模型中。

    Dec, 2023

  • 在线拉普拉斯近似贝叶斯联邦学习框架

    本文提出了一种使用 Laplace 近似方法的联邦学习框架，其中使用多元高斯乘积机制构建并最大化全局概率分布，区分客户端之间的巨大差异，在客户端使用全局后验概率参数，通过学习约束减少了本地选择性遗忘，并在多个基准测试中实现了最先进的结果。

    Feb, 2021

  • 异构环境下保护隐私的贝叶斯联邦学习

    本文介绍了针对异构客户端的联邦学习框架，基于训练本地的贝叶斯模型，通过在网络的输出空间中加入监管，提供了处理不同限制和限制条件的自然方法，并提供了严格保密性保证和模型的不确定性表征

    Jun, 2023

  • 个性化先验隐藏信息联邦学习

    本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架，该框架针对异构数据问题进行建模，并应用 Bregman 散度约束来解决该问题。实验结果表明，在高斯先验和均值选择的一阶策略的前提下，pFedBreD 显著优于其他个性化联合学习算法。

    Nov, 2022

  • FedHB：分层贝叶斯联邦学习

    提出了一个新的基于层次贝叶斯方法的联邦学习的优化算法，该算法可以不泄露任何的私有数据，并且具有通用的收敛性和泛化性能。

    May, 2023

  • 个性化联邦学习的概率模型：一种 PAC-Bayesian 方法

    个性化联邦学习的 PAC-PFL 算法在一个 PAC-Bayesian 框架中应用差分隐私处理数据相关的先验概率，协同学习共享超后验，并将每个客户的后验推断视为个性化步骤，通过建立和最小化客户平均真实风险的泛化界限，有效地抑制过度拟合，从而实现准确和良好校准的预测。

    Jan, 2024

  • 基于最优客户端采样的通信高效联邦学习

    本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。

    Jul, 2020

  • 基于变分贝叶斯推断的个性化联邦学习

    本文提出了一种名为 pFedBayes 的新型个性化联合学习方法，采用贝叶斯变分推理，通过引入权重不确定性来减轻模型过拟合的问题，在满足客户端全局分布的 KL 散度的同时，通过平衡私有数据的构造误差来更新其本地分布参数，理论分析说明了平均泛化误差的上界和收敛速度，实验结果表明，该方法在个性化模型方面表现出色，相较于其他先进的个性化方法，例如在非 i.i.d. 有限的数据下，pFedBayes 在 MNIST、FMNIST 和 CIFAR-10 上分别比其他 SOTA 算法的结果更好，分别提高了 1.25%、0.42% 和 11.71%。

    Jun, 2022

  • FedFisher：利用费舍尔信息进行一次联邦学习

    FedFisher 是一个用于一次性联邦学习的新算法，通过利用在本地客户机模型上计算的 Fisher 信息矩阵来实现全局模型的训练，并通过实验验证了其在不同数据集上的优越性能。

    Mar, 2024

  • 通过后验平均实现联邦学习：一个新的视角和实用算法

    以后验推断方法为基础的联邦学习算法可以通过在客户端推断本地数据的后验分布来推断全局后验分布，而 FedPA 则提供了一种计算和通信高效的近似后验推断算法，使用 MCMC 进行客户端的近似推断。

    Oct, 2020