异构环境下保护隐私的贝叶斯联邦学习
本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架,该框架针对异构数据问题进行建模,并应用 Bregman 散度约束来解决该问题。实验结果表明,在高斯先验和均值选择的一阶策略的前提下,pFedBreD 显著优于其他个性化联合学习算法。
Nov, 2022
本文是一项关于贝叶斯联邦学习(BFL)的问题与应用的调查研究,旨在解决分布式基础设施、通信、计算和隐私保护等问题,讨论客户端、服务端和基于 FL 的 BFL 方法,并提出了 BFL 研究的未来发展方向。
Apr, 2023
联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习,同时确保了数据保密性。然而,由于不同客户数据分布导致的统计异质性问题,会带来一些挑战,例如不足的个性化和收敛速度慢。为了解决上述问题,本文简要总结了个性化联邦学习领域的当前研究进展,概述了个性化联邦学习的概念,审视了相关技术,并强调了当前的努力。此外,本文还讨论了个性化联邦学习的潜在进一步研究和障碍。
Feb, 2024
通过减少客户端之间的异质性,本研究提出了一种传递知识的方法,利用客户端专用生成器为每个客户端生成样本,以减少与其他客户端模型的冲突,从而构建出具有良好泛化能力的全局模型。
Aug, 2023
Bayesian 个性化联邦学习(BPFL)通过统计上异质的客户数据来量化客户内部及客户间的不确定性和异质性,并将隐藏的神经表示分解成共享和本地组件,并联合学习共享和个性化的不确定性表示。
Sep, 2023
个性化联邦学习的 PAC-PFL 算法在一个 PAC-Bayesian 框架中应用差分隐私处理数据相关的先验概率,协同学习共享超后验,并将每个客户的后验推断视为个性化步骤,通过建立和最小化客户平均真实风险的泛化界限,有效地抑制过度拟合,从而实现准确和良好校准的预测。
Jan, 2024
该研究论文探讨了在联邦学习中使用 $d$-privacy 的方法,以保护客户的敏感信息并允许个性化模型训练以提高系统的公平性和效用。同时,使用度量基础的混淆技术来保持原始数据的拓扑分布特征,并在真实数据集上进行了证明和实验验证。
Jun, 2022
通过提出的 Bayesian Privacy 框架,本文的研究成功地量化了隐私损失,证明了其安全的隐私保护能力,通过各种深度神经网络图像分类 MNIST、CIFAR10 和 CIFAR100 的实验结果,演示了一种新的联邦深度学习方法,该方法使用私有通行证层,具有高模型性能、隐私保护能力和低计算复杂性的特点。
Sep, 2021
本文介绍了在联邦学习框架中处理个性化、隐私保证和公平性三者之间的相互关系,通过引入 $d$-privacy 方法,提供个性化模型训练、形式上的隐私保证和显著优于传统联邦学习模型的群体公平性。
Sep, 2023