无加噪差分隐私联邦学习：何时可行？

May, 2024

无加噪差分隐私联邦学习：何时可行？

Differentially Private Federated Learning without Noise Addition: When is it Possible?

Jiang Zhang, Yahya H Ezzeldin, Ahmed Roushdy Elkordy, Konstantinos Psounis, Salman Avestimehr

TL;DR通过在集成模型更新中引入内在的随机性来减少为实现差分隐私所需的额外噪音量，以提供安全聚合的联邦学习 (Federated Learning) 为主题的研究论文。

Abstract

federated learning (FL) with secure aggregation (SA) has gained significant attention as a privacy preserving framework for training machine learning models while preventing the server from learning information a

federated learning secure aggregation privacy-preserving differential privacy gaussian distribution

发现论文，激发创造

差分隐私联邦学习算法及性能分析

采用微分隐私概念，提出一种在模型聚合之前加入人工噪音的差分隐私框架，证明该框架可以在不同保护级别下满足差分隐私。同时，优化了聚合轮数、系统总参与用户数和随机选取的用户数，实现了在不同隐私保护和性能要求下的隐私保护联邦学习算法设计，并通过仿真实验证明了该理论的正确性。

Nov, 2019

运用自适应差分隐私和基于优先级的聚合增强联邦学习

通过个性化差分隐私框架和考虑各种异构性和属性调整的方法，该论文提出了一种高效地保护隐私的个性化差分隐私框架，并对联邦学习算法的收敛边界进行了分析，同时进一步研究了考虑时间变化的个性化因素的收敛性质。

Jun, 2024

增强稀疏化隐私与自适应优化的联邦学习

这篇论文提出了一种新的联邦学习框架，采用随机稀疏化和梯度扰动来增强差分隐私保证，结合加速技术减少隐私代价，并利用 Renyi DP 紧密评估端到端 DP 保证。实验结果验证了该方法在隐私保证和通信效率方面的优于之前的方法。

Aug, 2020

局部差分隐私下联邦学习中的实用聚合

本文研究基于联邦学习的隐私保护问题，提出了一种局部差分隐私机制，以解决当前机制存在的噪声数据接近原始值、估计平均数的方差过大和深度学习模型权重维数高导致隐私预算过大的问题。实验结果表明，该机制不仅具有优异的深度学习性能，而且能够提供强大的隐私保证。

Jul, 2020

自适应差分隐私在联邦学习中的基于优先级的方法

通过采用自适应噪声添加技术，我们提出了一种针对联邦学习的改进方案，根据特征的相对重要性决定注入噪声的数值，以平衡隐私和模型准确性的关系。实验证实了在一定条件下，通过慎重选择参数，可以提高隐私保护而减少模型性能的损失。

Jan, 2024

使用稀疏模型扰动的联邦学习：在客户端级别的差分隐私下提高准确性

本篇论文提出了一种名为 Fed-SMP 的新型差分隐私联邦学习方案，该方案采用 Sparsified Model Perturbation (SMP) 技术，在保持高模型准确性的同时，提供客户端级差分隐私保证，并使用 Renyi DP 提供紧密的隐私分析，并证明了 Fed-SMP 收敛性，通过实验数据证明了 Fed-SMP 提高了模型准确性并同时节省通信成本。

Feb, 2022

使用分散聚合进行具有差分隐私的联邦学习

移动设备、隐私、实用性、联邦学习和差分隐私是该研究的主要关键词，研究通过在联邦学习中采用差分隐私的实验环境并使用基准数据集来探讨隐私与实用性之间的平衡问题。

Nov, 2023

异构差分隐私联邦学习的噪音感知算法

在联邦学习中，差分隐私被用于保护数据隐私和提高模型效用，然而，在具有异质性要求和客户端批次 / 数据集大小差异的情况下，传统的聚合策略会降低效用。本文提出了一种名为 Robust-HDP 的方法，通过有效估计客户端模型更新中的噪声水平并显著减少聚合模型更新中的噪声水平，来提高效用和收敛速度，并对客户端的恶意行为进行安全处理。实验结果和理论分析验证了 Robust-HDP 的有效性。

Jun, 2024

在客户端差分隐私下实现更平缓的模型优化路径和更好的泛化效果的联邦学习

通过梯度扰动和局部平坦模型来提高权重扰动鲁棒性和性能，进而减少感知信息泄露，DP-FedSAM 算法在 DPFL 中达到最先进的性能。

May, 2023

具差分隐私的联邦学习

我们展示了在不同类型的数据上，客户端数量和差分隐私机制的增加对模型性能的影响的实证基准，结果显示在分布式和差分隐私设置中，非独立同分布和小数据集的性能降低最为显著。

Feb, 2024