具有非平凡泛化界限的联邦学习

Oct, 2023

Federated Learning with Nonvacuous Generalisation Bounds

Pierre Jobic, Maxime Haddouche, Benjamin Guedj

TL;DR我们提出了一种在联邦学习中训练随机预测器的新策略，其中网络的每个节点通过发布本地预测器并保密其训练数据集来保护隐私。我们构建了一个全局随机预测器，它在 PAC-Bayesian 广义界限的意义下继承了本地私有预测器的属性。我们考虑同步情况，所有节点共享相同的训练目标（来自广义界限）以及异步情况，每个节点可以拥有自己的个性化训练目标。通过一系列的数值实验，我们证明了我们的方法在预测性能方面与批处理方法相当，并且在保护每个节点隐私的同时具有数值上实质性的广义界限。我们明确计算了批处理和联邦学习设置之间的预测性能和广义界限的增量，突出了保护隐私的代价。

Abstract

We introduce a novel strategy to train randomised predictors in federated learning, where each node of the network aims at preserving its privacy by releasing a local predictor but keeping secret its training dataset with respect to the other nodes. We then build a global randomised predictor which inherits the properties of the local private predictors in t

federated learning privacy preservation randomized predictors pac-bayesian generalization bound synchronous and asynchronous training

发现论文，激发创造

联邦 PAC-Bayesian 非独立同分布数据学习

我们的研究针对分布不均匀的本地数据，提出了第一个非平凡的针对非独立同分布挑战的联邦 PAC-Bayesian 界限，并使用独特的先验知识和可变聚合权重。我们还引入了一个目标函数和一种创新的基于 Gibbs 的算法来优化该界限，并在真实数据集上验证了结果。

Sep, 2023

贝叶斯非参数联邦学习神经网络

本文介绍了一种 Bayesian nonparametric framework，用于 federated learning 问题，其通过 neural networks 对每个数据服务器提供的本地权值进行建模，并且提出了一种推理方法，以在单个通信回合或很少的通信回合中合成更多表达性的全局网络。这种方法在两个流行的图像分类数据集的 federated learning 问题上得到了很好的应用效果。

May, 2019

通信高效联邦学习的改进推广界限

本文通过探索泛化界限和表示学习来减少联邦学习的通信成本，首次展示了在非独立同分布的情况下，更少的聚合次数，更多的本地更新可产生更具一般化能力的模型，设计了基于泛化界限和表示学习分析的自适应本地步骤联邦学习算法 FedALS，通过对模型不同部分采用不同的聚合频率来降低通信成本，并通过实验结果证明了 FedALS 的有效性。

Apr, 2024

联邦变分推断：实现更好的个性化和泛化

本文提出了基于贝叶斯推断的层次生成模型和 FedVI 算法，该算法通过变分推断训练模型并结合 PAC-Bayes 分析提供了更好的泛化性能。作者还在 FEMNIST 和 CIFAR-100 数据集上进行了实验验证，结果显示 FedVI 在图像分类任务上的表现超过了现有算法。

May, 2023

基于变分贝叶斯推断的个性化联邦学习

本文提出了一种名为 pFedBayes 的新型个性化联合学习方法，采用贝叶斯变分推理，通过引入权重不确定性来减轻模型过拟合的问题，在满足客户端全局分布的 KL 散度的同时，通过平衡私有数据的构造误差来更新其本地分布参数，理论分析说明了平均泛化误差的上界和收敛速度，实验结果表明，该方法在个性化模型方面表现出色，相较于其他先进的个性化方法，例如在非 i.i.d. 有限的数据下，pFedBayes 在 MNIST、FMNIST 和 CIFAR-10 上分别比其他 SOTA 算法的结果更好，分别提高了 1.25%、0.42% 和 11.71%。

Jun, 2022

FedGen: 泛化联邦学习

本文提出了一种名为 FedGen 的通用联邦学习框架，它允许客户端以协作的方式在没有训练分布的先验知识的情况下，识别和区分虚假和不变特征，与目前的联邦学习方法相比，FedGen 能够实现显著更好的泛化效果。

Nov, 2022

联邦学习中泛化错误和隐私泄漏的信息理论界限

这篇论文提供了针对分布式学习、联邦学习和经典机器学习的信息理论框架，同时研究了这些学习范式中的一般化误差和隐私泄露的上下界限制。

May, 2020

贝叶斯差分隐私下的联邦学习

本文提出采用贝叶斯差分隐私来增强联邦学习的形式化隐私保证，提出适用于联邦学习的贝叶斯隐私计算方法，并在图像分类任务上表现出明显的优势。

Nov, 2019

PAC-Bayes 界的用户友好型介绍

本文介绍了聚合和随机投票学习模型的 PAC-Bayes 泛化理论及其优化技术，并对这些技术在人工神经网络上的应用进行了探讨。

Oct, 2021

具有异构分布式差分隐私约束的非参数回归的最优联邦学习

该论文研究了在分布式样本中进行非参数回归的联邦学习，其中每个样本服务器都遵守不同的差分隐私约束。在考虑到不同服务器的变化样本大小和差分隐私约束的异构设置中，该论文同时考虑了全局和逐点估计，并建立了在 Besov 空间上的收敛最优速率。通过提出分布式隐私保护估计器并研究其风险性质，该论文还建立了匹配的极小下界，对于全局和逐点估计，在对数因子上与之相符。这些发现揭示了统计准确性与隐私保护之间的权衡，特别是在整个隐私框架中分发数据所带来的损失，除了隐私预算之外。这种洞察力捕捉到了在更大的样本中更容易保持隐私的民间智慧，并探索了在分布式隐私约束下逐点估计和全局估计之间的差异。

Jun, 2024