Sep, 2023

具有共享和个性化不确定性表示的贝叶斯个性化联邦学习

PDF
TL;DRBayesian 个性化联邦学习（BPFL）通过统计上异质的客户数据来量化客户内部及客户间的不确定性和异质性，并将隐藏的神经表示分解成共享和本地组件，并联合学习共享和个性化的不确定性表示。
bayesian personalized federated learninguncertainty representationneural representationsclient uncertaintyheterogeneous client data
发现论文，激发创造
  • 个性化先验隐藏信息联邦学习

    本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架，该框架针对异构数据问题进行建模，并应用 Bregman 散度约束来解决该问题。实验结果表明，在高斯先验和均值选择的一阶策略的前提下，pFedBreD 显著优于其他个性化联合学习算法。

    Nov, 2022

  • 个性化联邦学习的概率模型：一种 PAC-Bayesian 方法

    个性化联邦学习的 PAC-PFL 算法在一个 PAC-Bayesian 框架中应用差分隐私处理数据相关的先验概率，协同学习共享超后验，并将每个客户的后验推断视为个性化步骤，通过建立和最小化客户平均真实风险的泛化界限，有效地抑制过度拟合，从而实现准确和良好校准的预测。

    Jan, 2024

  • 异构环境下保护隐私的贝叶斯联邦学习

    本文介绍了针对异构客户端的联邦学习框架，基于训练本地的贝叶斯模型，通过在网络的输出空间中加入监管，提供了处理不同限制和限制条件的自然方法，并提供了严格保密性保证和模型的不确定性表征

    Jun, 2023

  • 针对统计异质性的个性化联邦学习

    联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习，同时确保了数据保密性。然而，由于不同客户数据分布导致的统计异质性问题，会带来一些挑战，例如不足的个性化和收敛速度慢。为了解决上述问题，本文简要总结了个性化联邦学习领域的当前研究进展，概述了个性化联邦学习的概念，审视了相关技术，并强调了当前的努力。此外，本文还讨论了个性化联邦学习的潜在进一步研究和障碍。

    Feb, 2024

  • 可信个性化联邦学习：基于变分期望最大化的方法

    本文提出的基于分层贝叶斯模型和变分推断的个人化联邦学习算法，引入全局模型作为潜在变量，以捕捉不同客户端之间的公共趋势，使用变分期望最大化技术训练模型并得出包含客户端参数不确定性和本地模型偏差的置信度评估，进而对客户端参数进行加权，优化全局模型的正则化效果，在多个数据集上进行了大量实证研究并证明了其优越性。

    May, 2023

  • FedPop：个性化联邦学习的贝叶斯方法

    本文提出 FedPop 方法，将个性化联邦学习重新定义为种群建模范式，利用群体参数和随机效应解释数据异质性，并通过马尔科夫链蒙特卡洛方法引入新类联邦随机优化算法提供不确定性量化，从而满足新客户、小观测样本数据的实时学习需求。

    Jun, 2022

  • 个性化高斯过程联邦学习

    pFedGP 基于高斯过程和深层核学习，旨在解决在低数据环境下学习跨客户有效性的挑战，通过学习跨客户的共享核函数以及个性化的 GP 分类器，在多个基准测试中实现了高度准确的状态，并在可靠性方面显着优于基准方法。

    Jun, 2021

  • 通过去中心化的部分模型训练实现更适合个性化的联邦学习

    本文提出了一种名为 DFedAlt 的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部 SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

    May, 2023

  • 联邦学习的个性化解缠

    本文提出了一种通过将潜在表示明确分离成两部分来更好地处理个性化联邦学习的方法，并使用一种新颖的联邦双重变分自编码器（FedDVA）实现了解缠结，从而更好地平衡跨客户的知识共享和模型个性化，从而提高了 PFL 的可靠性和效果。

    Jun, 2023

  • 贝叶斯联邦学习：综述

    本文是一项关于贝叶斯联邦学习（BFL）的问题与应用的调查研究，旨在解决分布式基础设施、通信、计算和隐私保护等问题，讨论客户端、服务端和基于 FL 的 BFL 方法，并提出了 BFL 研究的未来发展方向。

    Apr, 2023