Jul, 2024
梯度扩散：一种抗扰动梯度泄漏攻击
Gradient Diffusion: A Perturbation-Resilient Gradient Leakage Attack
TL;DR最近几年针对分布式学习（FL）中的梯度泄漏攻击的脆弱性日益加剧，该攻击可通过交换的梯度恢复私有训练数据，使得梯度保护成为FL训练过程中至关重要的问题。然而，现有的解决方案通常依赖于扰动机制，如差分隐私，其中每个参与的客户端在聚合到服务器之前向局部梯度注入特定量的噪音，全局分布变化最终隐藏了梯度隐私。然而，扰动并不总是梯度保护的万灵药，因为其鲁棒性严重依赖于注入的噪音。本文回答了一个有趣的问题：“是否可能通过移除梯度中的扰动来使现有的保护机制失效？”我们提出了应答：“是”，并提出了Perturbation-resilient Gradient Leakage Attack（PGLA）——首次尝试在没有额外访问原始模型结构或第三方数据的情况下恢复扰动梯度。具体而言，我们利用梯度扰动保护的内在扩散特性构建了一种新颖的基于扩散的降噪模型来实现PGLA。我们的研究认为，在扩散反向过程中捕捉扰动量的干扰水平可以释放梯度去噪的能力，通过自适应采样步骤促使扩散模型生成与原始干净版本相似的梯度。大量实验证明，PGLA能够有效恢复受保护的梯度，暴露FL训练过程受梯度泄漏的威胁，并与现有模型相比实现了最佳的梯度去噪和数据恢复质量。我们希望引起公众对PGLA及其防御的关注。