联邦贝叶斯深度学习：统计聚合方法在贝叶斯模型中的应用

Mar, 2024

联邦贝叶斯深度学习：统计聚合方法在贝叶斯模型中的应用

Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models

John Fischer, Marko Orescanin, Justin Loomis, Patrick McClure

TL;DR通过分析六种不同的聚合策略，我们使用独立同分布（IID）和非独立同分布（non-IID）的 CIFAR-10 数据集以及完全变种 ResNet-20 结构来构建贝叶斯深度学习（DL）模型的联邦学习（FL）系统的关键超参数，从而影响准确性、校准性、不确定性量化、训练稳定性和客户端计算要求。

Abstract

federated learning (FL) is an approach to training machine learning models that takes advantage of multiple distributed datasets while maintaining data privacy and reducing communication costs associated with sha

federated learning machine learning models aggregation strategies bayesian dl models fl system

发现论文，激发创造

联邦学习聚合：具有保证的新的鲁棒算法

该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

May, 2022

FedHB：分层贝叶斯联邦学习

提出了一个新的基于层次贝叶斯方法的联邦学习的优化算法，该算法可以不泄露任何的私有数据，并且具有通用的收敛性和泛化性能。

May, 2023

如何在联邦学习中结合变分贝叶斯网络

该研究旨在探讨如何在联邦学习中结合变分贝叶斯网络，为不同聚合设置提供基准，并从三个图像分类数据集的实证结果中观察聚合分布的扩展程度对学习过程的影响。

Jun, 2022

FedPD: 一种具有最优速率和适应非独立同分布数据的联邦学习框架

本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。

May, 2020

持续本地训练以改进联邦模型的初始化

本文提出了基于本地持续训练策略的联邦学习算法，通过评估一小部分代理数据集上的重要性权重并将其用于约束本地训练，从而减少了权重分歧并不断将不同本地客户端的知识整合到全局模型中，显著提高了联邦模型的初始性能。

May, 2020

面向边缘计算的个性化深度神经网络联合学习

该研究提出了一种多任务联邦学习算法，通过添加非联邦批归一化层来允许用户训练个性化的模型，该算法支持联邦优化策略并在实验中表现出更快的收敛速度和更好的个性化精度。

Jul, 2020

贝叶斯联邦学习：综述

本文是一项关于贝叶斯联邦学习（BFL）的问题与应用的调查研究，旨在解决分布式基础设施、通信、计算和隐私保护等问题，讨论客户端、服务端和基于 FL 的 BFL 方法，并提出了 BFL 研究的未来发展方向。

Apr, 2023

联邦学习：应用、挑战和未来方向

本文提供了关于联邦学习的概述，并重点关注医疗保健领域。通过中央协调器服务器共享全局深度学习模型，解决了隐私保护需求并探讨了联邦学习遇到的挑战和未来发展方向，其中使用多方计算、同态加密、差分隐私和随机梯度下降等多种隐私方法。

May, 2022

开发联邦学习以实现深度模型的潜力

在研究中，发现当将现有的联邦学习框架应用于更深的神经网络时，性能会显著下降，主要原因是由于在层间反向传播过程中不同客户端模型之间的不一致性逐步积累，称为 “发散累积”，提出了减少发散的技术指南，如使用更宽的模型和减少接受场，这些方法可以大大提高联邦学习在更深层次上的准确性。

Jun, 2023

基于贝叶斯推断的自适应 dropout 联邦学习：通信高效且准确性保证的 FedBIAD

在这篇论文中，我们提出了一种基于贝叶斯推理的自适应辍学方法（FedBIAD），通过逐行将局部模型权重转化为概率分布，并自适应地根据与本地训练损失趋势相关的重要性指标辍掉部分权重行，从而在减少上行通信成本的同时提高准确性，理论分析证明 FedBIAD 的平均泛化误差的收敛速度是最小最大的，甚至在非独立同分布数据上可以提高 2.41% 的准确率，并最多缩短 72% 的训练时间。

Jul, 2023