ICMLMay, 2019

贝叶斯非参数联邦学习神经网络

PDF
TL;DR本文介绍了一种 Bayesian nonparametric framework，用于 federated learning 问题，其通过 neural networks 对每个数据服务器提供的本地权值进行建模，并且提出了一种推理方法，以在单个通信回合或很少的通信回合中合成更多表达性的全局网络。这种方法在两个流行的图像分类数据集的 federated learning 问题上得到了很好的应用效果。
发现论文，激发创造
  • 个性化联邦学习参数选择的贝叶斯神经网络

    提出了一种个性化的联邦学习方法，在神经网络的元素级别进行个性化参数选择，利用贝叶斯神经网络和提供的不确定性来指导参数选择，实验证明该方法在多个真实数据集上优于现有基线模型。

    Feb, 2024

  • 基于变分贝叶斯推断的个性化联邦学习

    本文提出了一种名为 pFedBayes 的新型个性化联合学习方法，采用贝叶斯变分推理，通过引入权重不确定性来减轻模型过拟合的问题，在满足客户端全局分布的 KL 散度的同时，通过平衡私有数据的构造误差来更新其本地分布参数，理论分析说明了平均泛化误差的上界和收敛速度，实验结果表明，该方法在个性化模型方面表现出色，相较于其他先进的个性化方法，例如在非 i.i.d. 有限的数据下，pFedBayes 在 MNIST、FMNIST 和 CIFAR-10 上分别比其他 SOTA 算法的结果更好，分别提高了 1.25%、0.42% 和 11.71%。

    Jun, 2022

  • 如何在联邦学习中结合变分贝叶斯网络

    该研究旨在探讨如何在联邦学习中结合变分贝叶斯网络，为不同聚合设置提供基准，并从三个图像分类数据集的实证结果中观察聚合分布的扩展程度对学习过程的影响。

    Jun, 2022

  • 基于神经网络的新型不平衡和非独立同分布数据的联邦学习系统

    通过提出集中式的、基于神经网络的联邦学习系统，利用边缘计算减少中央服务器的负载，同时在各种数据分布设置中相对于一些现有基准算法取得令人满意的性能。

    Nov, 2023

  • 联邦贝叶斯网络集成

    我们探讨了联邦集成贝叶斯网络在一系列实验中的应用，与本地训练模型和使用 VertiBayes 进行训练的模型进行了性能比较，结果表明 FBNE 在绝大多数情况下优于本地模型，在保持类似性能的同时显著提高了训练速度，是联邦学习工具箱中潜在有用的工具，特别适用于局部人口偏见严重或各方人口规模不平衡的情况。我们还讨论了该方法在时间复杂度、模型准确性、隐私保护和模型可解释性方面的优缺点。

    Feb, 2024

  • 变分贝叶斯与联邦连续学习

    通过引入联邦贝叶斯神经网络（FedBNN）的连续框架，本研究通过将本地和历史数据分布的知识持续集成到单个模型中，从而在学习新的数据分布的同时保留了对历史分布的性能，实现了在联邦学习和持续学习中降低遗忘的最先进结果。

    May, 2024

  • 可靠的个性化贝叶斯联邦学习通过后验微调

    本文提出了一种基于贝叶斯方法的个性化联邦学习框架，采用参数后验的正态化流实现了个性化，从理论上分析了正态化流对贝叶斯神经网络的异常检测的影响，并通过在异构数据集上的实验结果表明，该方法不仅提高了准确性，还在异常检测方面优于基线模型。

    Feb, 2024

  • 基于贝叶斯的无线网络联邦学习

    本文提出了一种基于贝叶斯的联合学习算法（BFL）和一种高效的改进算法（Scalable-BFL），通过优化均方误差，聚合异构的离散梯度信息，在 MNIST 数据集上的模拟实验中，这两种算法在异构网络上训练和测试神经网络时都比传统的随机梯度下降算法表现得更好。

    Dec, 2020

  • 联邦 PAC-Bayesian 非独立同分布数据学习

    我们的研究针对分布不均匀的本地数据，提出了第一个非平凡的针对非独立同分布挑战的联邦 PAC-Bayesian 界限，并使用独特的先验知识和可变聚合权重。我们还引入了一个目标函数和一种创新的基于 Gibbs 的算法来优化该界限，并在真实数据集上验证了结果。

    Sep, 2023

  • 贝叶斯联邦学习：综述

    本文是一项关于贝叶斯联邦学习（BFL）的问题与应用的调查研究，旨在解决分布式基础设施、通信、计算和隐私保护等问题，讨论客户端、服务端和基于 FL 的 BFL 方法，并提出了 BFL 研究的未来发展方向。

    Apr, 2023