May, 2023

联邦变分推断：实现更好的个性化和泛化

PDF
TL;DR本文提出了基于贝叶斯推断的层次生成模型和 FedVI 算法，该算法通过变分推断训练模型并结合 PAC-Bayes 分析提供了更好的泛化性能。作者还在 FEMNIST 和 CIFAR-100 数据集上进行了实验验证，结果显示 FedVI 在图像分类任务上的表现超过了现有算法。
federated learningpersonalizationgeneralizationbayesian inferencevariational inference
发现论文，激发创造
  • 基于变分贝叶斯推断的个性化联邦学习

    本文提出了一种名为 pFedBayes 的新型个性化联合学习方法，采用贝叶斯变分推理，通过引入权重不确定性来减轻模型过拟合的问题，在满足客户端全局分布的 KL 散度的同时，通过平衡私有数据的构造误差来更新其本地分布参数，理论分析说明了平均泛化误差的上界和收敛速度，实验结果表明，该方法在个性化模型方面表现出色，相较于其他先进的个性化方法，例如在非 i.i.d. 有限的数据下，pFedBayes 在 MNIST、FMNIST 和 CIFAR-10 上分别比其他 SOTA 算法的结果更好，分别提高了 1.25%、0.42% 和 11.71%。

    Jun, 2022

  • 分区变分推断：涵盖联邦学习与持续学习的统一框架

    本文介绍了一种新的方法，即分区变分推断（Partitioned Variational Inference），该方法明确了变分推断的基本维度，并统一了不同的文献，重点介绍了在分布式计算、连续学习等挑战性学习场景下进行变分推断的方法，并表明这些新方法在神经网络和高斯过程模型等领域中均能取得显著的性能提升。

    Nov, 2018

  • 变分联合多任务学习

    VIRTUAL 算法在联邦多任务学习中被引入以处理具有强统计异质性的真实世界联邦数据集，该算法能够在联邦数据集中发挥作用，同时允许更少的梯度更新。

    Jun, 2019

  • 可信个性化联邦学习：基于变分期望最大化的方法

    本文提出的基于分层贝叶斯模型和变分推断的个人化联邦学习算法，引入全局模型作为潜在变量，以捕捉不同客户端之间的公共趋势，使用变分期望最大化技术训练模型并得出包含客户端参数不确定性和本地模型偏差的置信度评估，进而对客户端参数进行加权，优化全局模型的正则化效果，在多个数据集上进行了大量实证研究并证明了其优越性。

    May, 2023

  • 个性化联邦学习的概率模型：一种 PAC-Bayesian 方法

    个性化联邦学习的 PAC-PFL 算法在一个 PAC-Bayesian 框架中应用差分隐私处理数据相关的先验概率，协同学习共享超后验，并将每个客户的后验推断视为个性化步骤，通过建立和最小化客户平均真实风险的泛化界限，有效地抑制过度拟合，从而实现准确和良好校准的预测。

    Jan, 2024

  • 变分贝叶斯与联邦连续学习

    通过引入联邦贝叶斯神经网络（FedBNN）的连续框架，本研究通过将本地和历史数据分布的知识持续集成到单个模型中，从而在学习新的数据分布的同时保留了对历史分布的性能，实现了在联邦学习和持续学习中降低遗忘的最先进结果。

    May, 2024

  • 联邦学习的个性化技术综述

    本文调查了针对非独立同分布数据的个性化联邦学习的研究，此技术可让多方参与联合学习，从而达到隐私保护的目的。

    Mar, 2020

  • 通过后验平均实现联邦学习：一个新的视角和实用算法

    以后验推断方法为基础的联邦学习算法可以通过在客户端推断本地数据的后验分布来推断全局后验分布，而 FedPA 则提供了一种计算和通信高效的近似后验推断算法，使用 MCMC 进行客户端的近似推断。

    Oct, 2020

  • FedHB：分层贝叶斯联邦学习

    提出了一个新的基于层次贝叶斯方法的联邦学习的优化算法，该算法可以不泄露任何的私有数据，并且具有通用的收敛性和泛化性能。

    May, 2023

  • 可靠的个性化贝叶斯联邦学习通过后验微调

    本文提出了一种基于贝叶斯方法的个性化联邦学习框架，采用参数后验的正态化流实现了个性化，从理论上分析了正态化流对贝叶斯神经网络的异常检测的影响，并通过在异构数据集上的实验结果表明，该方法不仅提高了准确性，还在异常检测方面优于基线模型。

    Feb, 2024