联邦PAC-Bayesian非独立同分布数据学习
本文介绍了一种Bayesian nonparametric framework，用于federated learning问题，其通过neural networks对每个数据服务器提供的本地权值进行建模，并且提出了一种推理方法，以在单个通信回合或很少的通信回合中合成更多表达性的全局网络。这种方法在两个流行的图像分类数据集的federated learning问题上得到了很好的应用效果。
May, 2019
本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。
May, 2020
本文提出了一种名为Distributed Stein Variational Gradient Descent （DSVGD）的非参数广义贝叶斯推理框架，旨在通过维护中央服务器上的多个非随机交互粒子来最小化全局自由能，达到在通信负载和通信轮数方面的灵活权衡，并比较频率学派和贝叶斯联合学习策略，在精确度和可伸缩性方面表现出众，同时提供良好的校准性和可信度的预测。
Sep, 2020
以后验推断方法为基础的联邦学习算法可以通过在客户端推断本地数据的后验分布来推断全局后验分布，而FedPA则提供了一种计算和通信高效的近似后验推断算法，使用MCMC进行客户端的近似推断。
Oct, 2020
本文是一项关于贝叶斯联邦学习（BFL）的问题与应用的调查研究，旨在解决分布式基础设施、通信、计算和隐私保护等问题，讨论客户端、服务端和基于FL的BFL方法，并提出了BFL研究的未来发展方向。
Apr, 2023
本文提出了一种基于个性化的联邦学习方法，通过层次化的变分推理对异构客户端进行建模，并借助贝叶斯元学习技术提取共性结构，将其转移到各自的任务中，从而生成准确的客户端特定近似后验分布，该方法在大量实证研究中显示出卓越性能。
Jul, 2023
在这篇论文中，我们提出了一种基于贝叶斯推理的自适应辍学方法（FedBIAD），通过逐行将局部模型权重转化为概率分布，并自适应地根据与本地训练损失趋势相关的重要性指标辍掉部分权重行，从而在减少上行通信成本的同时提高准确性，理论分析证明FedBIAD的平均泛化误差的收敛速度是最小最大的，甚至在非独立同分布数据上可以提高2.41%的准确率，并最多缩短72%的训练时间。
Jul, 2023
我们提出了一种在联邦学习中训练随机预测器的新策略，其中网络的每个节点通过发布本地预测器并保密其训练数据集来保护隐私。我们构建了一个全局随机预测器，它在PAC-Bayesian广义界限的意义下继承了本地私有预测器的属性。我们考虑同步情况，所有节点共享相同的训练目标（来自广义界限）以及异步情况，每个节点可以拥有自己的个性化训练目标。通过一系列的数值实验，我们证明了我们的方法在预测性能方面与批处理方法相当，并且在保护每个节点隐私的同时具有数值上实质性的广义界限。我们明确计算了批处理和联邦学习设置之间的预测性能和广义界限的增量，突出了保护隐私的代价。
Oct, 2023
个性化联邦学习的PAC-PFL算法在一个PAC-Bayesian框架中应用差分隐私处理数据相关的先验概率，协同学习共享超后验，并将每个客户的后验推断视为个性化步骤，通过建立和最小化客户平均真实风险的泛化界限，有效地抑制过度拟合，从而实现准确和良好校准的预测。
Jan, 2024