自适应差分隐私在联邦学习中的基于优先级的方法

Jan, 2024

自适应差分隐私在联邦学习中的基于优先级的方法

Adaptive Differential Privacy in Federated Learning: A Priority-Based Approach

Mahtab Talaei, Iman Izadi

TL;DR通过采用自适应噪声添加技术，我们提出了一种针对联邦学习的改进方案，根据特征的相对重要性决定注入噪声的数值，以平衡隐私和模型准确性的关系。实验证实了在一定条件下，通过慎重选择参数，可以提高隐私保护而减少模型性能的损失。

Abstract

federated learning (FL) as one of the novel branches of distributed machine learning (ML), develops global models through a private procedure without direct access to local datasets. However, access to model updates (e.g. gradient updates in deep neural networks) transferred between cl

federated learning differential privacy adaptive noise addition model performance privacy guarantee

发现论文，激发创造

运用自适应差分隐私和基于优先级的聚合增强联邦学习

通过个性化差分隐私框架和考虑各种异构性和属性调整的方法，该论文提出了一种高效地保护隐私的个性化差分隐私框架，并对联邦学习算法的收敛边界进行了分析，同时进一步研究了考虑时间变化的个性化因素的收敛性质。

Jun, 2024

异构差分隐私联邦学习的噪音感知算法

在联邦学习中，差分隐私被用于保护数据隐私和提高模型效用，然而，在具有异质性要求和客户端批次 / 数据集大小差异的情况下，传统的聚合策略会降低效用。本文提出了一种名为 Robust-HDP 的方法，通过有效估计客户端模型更新中的噪声水平并显著减少聚合模型更新中的噪声水平，来提高效用和收敛速度，并对客户端的恶意行为进行安全处理。实验结果和理论分析验证了 Robust-HDP 的有效性。

Jun, 2024

具差分隐私的联邦学习

我们展示了在不同类型的数据上，客户端数量和差分隐私机制的增加对模型性能的影响的实证基准，结果显示在分布式和差分隐私设置中，非独立同分布和小数据集的性能降低最为显著。

Feb, 2024

增强稀疏化隐私与自适应优化的联邦学习

这篇论文提出了一种新的联邦学习框架，采用随机稀疏化和梯度扰动来增强差分隐私保证，结合加速技术减少隐私代价，并利用 Renyi DP 紧密评估端到端 DP 保证。实验结果验证了该方法在隐私保证和通信效率方面的优于之前的方法。

Aug, 2020

使用分散聚合进行具有差分隐私的联邦学习

移动设备、隐私、实用性、联邦学习和差分隐私是该研究的主要关键词，研究通过在联邦学习中采用差分隐私的实验环境并使用基准数据集来探讨隐私与实用性之间的平衡问题。

Nov, 2023

差分隐私联邦学习算法及性能分析

采用微分隐私概念，提出一种在模型聚合之前加入人工噪音的差分隐私框架，证明该框架可以在不同保护级别下满足差分隐私。同时，优化了聚合轮数、系统总参与用户数和随机选取的用户数，实现了在不同隐私保护和性能要求下的隐私保护联邦学习算法设计，并通过仿真实验证明了该理论的正确性。

Nov, 2019

局部差分隐私下联邦学习中的实用聚合

本文研究基于联邦学习的隐私保护问题，提出了一种局部差分隐私机制，以解决当前机制存在的噪声数据接近原始值、估计平均数的方差过大和深度学习模型权重维数高导致隐私预算过大的问题。实验结果表明，该机制不仅具有优异的深度学习性能，而且能够提供强大的隐私保证。

Jul, 2020

通过健壮聚类减轻联邦学习中差异隐私的不平等影响

提出了一种新颖的聚类差分私有化联邦学习算法，通过基于模型更新和训练损失值对客户进行聚类，以应对联邦学习中的不平等性和隐私保护问题。

May, 2024

分层联邦学习中的差分隐私：形式化分析与评估

在该研究中，我们提出了差分私有分层联邦学习（DP-HFL），这是一种增强了隐私 - 效用权衡的联邦学习方法。通过在已建立的联邦学习层次结构的不同层级（边缘设备、边缘服务器和云服务器）上根据特定子网络的信任模型进行差分隐私噪声注入，我们对 DP-HFL 的收敛行为进行了全面分析，并揭示了收敛行为的参数调整条件，这些条件决定了模型训练过程收敛到一个静止间隙情况的速度，此间隙依赖于网络层次结构、信任模型和目标隐私水平。随后的数值评估表明，DP-HFL 在不同隐私预算下提高了收敛速度，并验证了网络配置对训练的影响。

Jan, 2024

使用稀疏模型扰动的联邦学习：在客户端级别的差分隐私下提高准确性

本篇论文提出了一种名为 Fed-SMP 的新型差分隐私联邦学习方案，该方案采用 Sparsified Model Perturbation (SMP) 技术，在保持高模型准确性的同时，提供客户端级差分隐私保证，并使用 Renyi DP 提供紧密的隐私分析，并证明了 Fed-SMP 收敛性，通过实验数据证明了 Fed-SMP 提高了模型准确性并同时节省通信成本。

Feb, 2022