本文介绍了一种 Bayesian nonparametric framework，用于 federated learning 问题，其通过 neural networks 对每个数据服务器提供的本地权值进行建模，并且提出了一种推理方法，以在单个通信回合或很少的通信回合中合成更多表达性的全局网络。这种方法在两个流行的图像分类数据集的 federated learning 问题上得到了很好的应用效果。

May, 2019

通过分析六种不同的聚合策略，我们使用独立同分布（IID）和非独立同分布（non-IID）的 CIFAR-10 数据集以及完全变种 ResNet-20 结构来构建贝叶斯深度学习（DL）模型的联邦学习（FL）系统的关键超参数，从而影响准确性、校准性、不确定性量化、训练稳定性和客户端计算要求。

Mar, 2024

通过引入联邦贝叶斯神经网络（FedBNN）的连续框架，本研究通过将本地和历史数据分布的知识持续集成到单个模型中，从而在学习新的数据分布的同时保留了对历史分布的性能，实现了在联邦学习和持续学习中降低遗忘的最先进结果。

May, 2024

本文提出了一种名为 pFedBayes 的新型个性化联合学习方法，采用贝叶斯变分推理，通过引入权重不确定性来减轻模型过拟合的问题，在满足客户端全局分布的 KL 散度的同时，通过平衡私有数据的构造误差来更新其本地分布参数，理论分析说明了平均泛化误差的上界和收敛速度，实验结果表明，该方法在个性化模型方面表现出色，相较于其他先进的个性化方法，例如在非 i.i.d. 有限的数据下，pFedBayes 在 MNIST、FMNIST 和 CIFAR-10 上分别比其他 SOTA 算法的结果更好，分别提高了 1.25%、0.42% 和 11.71%。

Jun, 2022

我们探讨了联邦集成贝叶斯网络在一系列实验中的应用，与本地训练模型和使用 VertiBayes 进行训练的模型进行了性能比较，结果表明 FBNE 在绝大多数情况下优于本地模型，在保持类似性能的同时显著提高了训练速度，是联邦学习工具箱中潜在有用的工具，特别适用于局部人口偏见严重或各方人口规模不平衡的情况。我们还讨论了该方法在时间复杂度、模型准确性、隐私保护和模型可解释性方面的优缺点。

Feb, 2024

本文提出了基于贝叶斯推断的层次生成模型和 FedVI 算法，该算法通过变分推断训练模型并结合 PAC-Bayes 分析提供了更好的泛化性能。作者还在 FEMNIST 和 CIFAR-100 数据集上进行了实验验证，结果显示 FedVI 在图像分类任务上的表现超过了现有算法。

May, 2023

VIRTUAL 算法在联邦多任务学习中被引入以处理具有强统计异质性的真实世界联邦数据集，该算法能够在联邦数据集中发挥作用，同时允许更少的梯度更新。

Jun, 2019

本文提出一种名为 FedBE 的基于贝叶斯推理的聚合算法，将局部模型聚合成全局模型，使得在非独立同分布数据和深度神经网络方面具有更强的表现，而该方法与最近关于正则化用户模型训练的研究兼容，可以轻松应用于联邦学习算法的 Aggregation 模块。

Sep, 2020

该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

May, 2022

本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。

Oct, 2018