基于期望最大化和 Turbo 深度近似消息传递的贝叶斯联合学习

Feb, 2024

基于期望最大化和 Turbo 深度近似消息传递的贝叶斯联合学习

Bayesian Federated Learning Via Expectation Maximization and Turbo Deep Approximate Message Passing

Wei Xu, An Liu, Yiting Zhang, Vincent Lau

TL;DR我们提出了一种基于消息传递的贝叶斯联邦学习框架 EM-TDAMP，通过组稀疏先验实现结构化模型压缩，通过期望最大化和 Turbo deep approximate message passing（TDAMP）相结合来实现分布式学习和压缩，从而加速收敛，通过在波士顿房价预测和手写识别中的应用和广泛的数值结果演示了 EM-TDAMP 的优势。

Abstract

federated learning (FL) is a machine learning paradigm where the clients possess decentralized training data and the central server handles aggregation and scheduling. Typically, FL algorithms involve clients training their local models using stochastic gradient descent (SGD), which ca

federated learning bayesian federated learning sparse bayesian inference message passing emtdamp

发现论文，激发创造

可信个性化联邦学习：基于变分期望最大化的方法

本文提出的基于分层贝叶斯模型和变分推断的个人化联邦学习算法，引入全局模型作为潜在变量，以捕捉不同客户端之间的公共趋势，使用变分期望最大化技术训练模型并得出包含客户端参数不确定性和本地模型偏差的置信度评估，进而对客户端参数进行加权，优化全局模型的正则化效果，在多个数据集上进行了大量实证研究并证明了其优越性。

May, 2023

在线拉普拉斯近似贝叶斯联邦学习框架

本文提出了一种使用 Laplace 近似方法的联邦学习框架，其中使用多元高斯乘积机制构建并最大化全局概率分布，区分客户端之间的巨大差异，在客户端使用全局后验概率参数，通过学习约束减少了本地选择性遗忘，并在多个基准测试中实现了最先进的结果。

Feb, 2021

联邦贝叶斯深度学习：统计聚合方法在贝叶斯模型中的应用

通过分析六种不同的聚合策略，我们使用独立同分布（IID）和非独立同分布（non-IID）的 CIFAR-10 数据集以及完全变种 ResNet-20 结构来构建贝叶斯深度学习（DL）模型的联邦学习（FL）系统的关键超参数，从而影响准确性、校准性、不确定性量化、训练稳定性和客户端计算要求。

Mar, 2024

面向边缘计算的个性化深度神经网络联合学习

该研究提出了一种多任务联邦学习算法，通过添加非联邦批归一化层来允许用户训练个性化的模型，该算法支持联邦优化策略并在实验中表现出更快的收敛速度和更好的个性化精度。

Jul, 2020

基于贝叶斯的无线网络联邦学习

本文提出了一种基于贝叶斯的联合学习算法（BFL）和一种高效的改进算法（Scalable-BFL），通过优化均方误差，聚合异构的离散梯度信息，在 MNIST 数据集上的模拟实验中，这两种算法在异构网络上训练和测试神经网络时都比传统的随机梯度下降算法表现得更好。

Dec, 2020

混合分布下的联邦多任务学习

该研究提出了一种基于混合模型假设的联邦多任务学习方法，该方法可以在设备上学习个性化模型并实现客户端和服务端两种架构下的联邦 EM 算法的收敛，同时在联邦学习基准测试中获得了更高的准确性和公平性。

Aug, 2021

贝叶斯联邦学习：综述

本文是一项关于贝叶斯联邦学习（BFL）的问题与应用的调查研究，旨在解决分布式基础设施、通信、计算和隐私保护等问题，讨论客户端、服务端和基于 FL 的 BFL 方法，并提出了 BFL 研究的未来发展方向。

Apr, 2023

基于贝叶斯的联邦模型压缩技术提升通信与计算效率

本文研究了联邦学习中的贝叶斯模型压缩，构建稀疏模型既能实现通信效率又能实现计算效率。我们提出了一种分散的 Turbo 变分贝叶斯推理（D-Turbo-VBI）联邦学习框架，其中我们首先提出了一种层次稀疏先验，从而促进了权重矩阵中的聚类稀疏结构。然后，通过将消息传递和 VBI 与分散的 turbo 框架巧妙地集成在一起，我们提出了 D-Turbo-VBI 算法，它可以（i）在联邦训练期间减少上行和下行通信开销，以及（ii）在本地推理期间减少计算复杂性。此外，我们还建立了所提出的 D-Turbo-VBI 算法的收敛性质。仿真结果显示了我们所提出算法在减少联邦训练期间的通信开销和最终模型的计算复杂性方面的显著增益。

Apr, 2024

个性化先验隐藏信息联邦学习

本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架，该框架针对异构数据问题进行建模，并应用 Bregman 散度约束来解决该问题。实验结果表明，在高斯先验和均值选择的一阶策略的前提下，pFedBreD 显著优于其他个性化联合学习算法。

Nov, 2022

使用二进制神经网络的通信高效联邦学习

该研究提出了一种使用二进制神经网络在联邦学习框架下进行训练的新方法，通过最大似然估计参数更新方案和理论推导，实现在无需聚合实值辅助参数的情况下，维持性能同时显著降低通信开销。

Oct, 2021