Nov, 2019

差分隐私联邦学习算法及性能分析

PDF
TL;DR采用微分隐私概念，提出一种在模型聚合之前加入人工噪音的差分隐私框架，证明该框架可以在不同保护级别下满足差分隐私。同时，优化了聚合轮数、系统总参与用户数和随机选取的用户数，实现了在不同隐私保护和性能要求下的隐私保护联邦学习算法设计，并通过仿真实验证明了该理论的正确性。
differential privacyfl modelprivacy protectionconvergence performancek-random scheduling
发现论文，激发创造
  • 运用自适应差分隐私和基于优先级的聚合增强联邦学习

    通过个性化差分隐私框架和考虑各种异构性和属性调整的方法，该论文提出了一种高效地保护隐私的个性化差分隐私框架，并对联邦学习算法的收敛边界进行了分析，同时进一步研究了考虑时间变化的个性化因素的收敛性质。

    Jun, 2024

  • 异构差分隐私联邦学习的噪音感知算法

    在联邦学习中，差分隐私被用于保护数据隐私和提高模型效用，然而，在具有异质性要求和客户端批次 / 数据集大小差异的情况下，传统的聚合策略会降低效用。本文提出了一种名为 Robust-HDP 的方法，通过有效估计客户端模型更新中的噪声水平并显著减少聚合模型更新中的噪声水平，来提高效用和收敛速度，并对客户端的恶意行为进行安全处理。实验结果和理论分析验证了 Robust-HDP 的有效性。

    Jun, 2024

  • 无加噪差分隐私联邦学习：何时可行？

    通过在集成模型更新中引入内在的随机性来减少为实现差分隐私所需的额外噪音量，以提供安全聚合的联邦学习 (Federated Learning) 为主题的研究论文。

    May, 2024

  • 自适应局部步骤联邦学习的收敛分析驱动下差分隐私

    在资源受限的情况下重新考虑差分隐私联邦学习的框架，并分析其在收敛性方面的情况，提出了自适应本地步差分隐私联邦学习 (ALS-DPFL) 算法。通过在 FashionMNIST 和 CIFAR-10 数据集上的实验，相对于以往的工作，我们取得了相当良好的性能。

    Aug, 2023

  • 自适应差分隐私在联邦学习中的基于优先级的方法

    通过采用自适应噪声添加技术，我们提出了一种针对联邦学习的改进方案，根据特征的相对重要性决定注入噪声的数值，以平衡隐私和模型准确性的关系。实验证实了在一定条件下，通过慎重选择参数，可以提高隐私保护而减少模型性能的损失。

    Jan, 2024

  • 增强稀疏化隐私与自适应优化的联邦学习

    这篇论文提出了一种新的联邦学习框架，采用随机稀疏化和梯度扰动来增强差分隐私保证，结合加速技术减少隐私代价，并利用 Renyi DP 紧密评估端到端 DP 保证。实验结果验证了该方法在隐私保证和通信效率方面的优于之前的方法。

    Aug, 2020

  • 具有客户端级差分隐私的二进制联邦学习

    提出了一种具有差分隐私保证的通信高效的联邦学习训练算法，采用二进制神经网络 (BNNs) 并引入离散噪声以实现客户级别的隐私保护。通过实验证明，该算法在保证隐私的同时，实现了较低的通信开销和性能提升。

    Aug, 2023

  • 具差分隐私的联邦学习

    我们展示了在不同类型的数据上，客户端数量和差分隐私机制的增加对模型性能的影响的实证基准，结果显示在分布式和差分隐私设置中，非独立同分布和小数据集的性能降低最为显著。

    Feb, 2024

  • 通过健壮聚类减轻联邦学习中差异隐私的不平等影响

    提出了一种新颖的聚类差分私有化联邦学习算法，通过基于模型更新和训练损失值对客户进行聚类，以应对联邦学习中的不平等性和隐私保护问题。

    May, 2024

  • 分层联邦学习中的差分隐私：形式化分析与评估

    在该研究中，我们提出了差分私有分层联邦学习（DP-HFL），这是一种增强了隐私 - 效用权衡的联邦学习方法。通过在已建立的联邦学习层次结构的不同层级（边缘设备、边缘服务器和云服务器）上根据特定子网络的信任模型进行差分隐私噪声注入，我们对 DP-HFL 的收敛行为进行了全面分析，并揭示了收敛行为的参数调整条件，这些条件决定了模型训练过程收敛到一个静止间隙情况的速度，此间隙依赖于网络层次结构、信任模型和目标隐私水平。随后的数值评估表明，DP-HFL 在不同隐私预算下提高了收敛速度，并验证了网络配置对训练的影响。

    Jan, 2024