梯度深度泄露

Jun, 2019

Deep Leakage from Gradients

Ligeng Zhu, Zhijian Liu, Song Han

TL;DR该论文通过实验证明了在现代多节点机器学习系统中，梯度交换流程中存在着可以泄露隐私数据的问题。作者指出梯度裁剪是当前最有效的解决方案。

Abstract

Exchanging gradients is a widely used method in modern multi-node machine learning system (e.g., distributed training, collaborative learning). For a long time, people believed that gradients are safe to share: i.e., the training data will not be leaked by gradient exchange. However, w

multi-node machine learning gradient exchange deep leakage computer vision natural language processing

发现论文，激发创造

神经网络图像分类中的梯度泄露训练数据理解

本文分析了基于梯度下降的攻击如何泄露深度学习模型的训练数据，并提出了一种度量安全性的指标，同时也提出了一种用于解决重构训练数据的优化问题的方法。

Nov, 2021

Transformer 中梯度泄漏的攻击和防御的理论洞察

梯度泄漏攻击与防御策略的全面分析，为基于变压器模型的隐私保护技术的发展做出了积极贡献，旨在促进保护敏感数据和在变压器模型背景下维护隐私的进展。

Nov, 2023

透过树木看到森林：部分变压器梯度的数据泄漏

分布式机器学习中的梯度反演攻击问题及其对隐私数据的泄露风险进行研究和验证，并发现在语言模型的各个中间层存在训练数据泄露的漏洞。实验证实，单个 Transformer 层甚至一个线性组件的 0.54% 参数的梯度也存在训练数据泄露的问题。此外，研究还表明，在训练过程中对梯度应用差分隐私仅能提供有限的数据泄露保护。

Jun, 2024

iDLG: 梯度泄漏的改进深度学习

本文提出了一种名为 iDLG 的改良方法，该方法能够从共享梯度中提取与 DLG 方法不同的正确标签，并且该方法适用于使用交叉熵损失训练的任何可微分模型，具有优越性能。

Jan, 2020

扩散模型的安全性研究：基于梯度引导的扩散模型导致严重数据泄漏

通过扩散模型并利用梯度指导的微调方法，我们提出了一种新的重建攻击方法，可通过泄露的梯度从图像处理系统中窃取私密的高分辨率图像。实验结果表明，我们的攻击方法能够成功恢复和窃取分辨率高达 512 x 512 像素的图像。此外，我们的攻击方法在图像重建的像素级准确性和时间效率方面明显优于其他攻击基准方法，并在一定程度上使差分隐私失效。

Jun, 2024

Dropout 对抗梯度泄漏

本文提出了在分类器前使用额外的 dropout 层的方法来防止原始数据泄露，以解决在 federal learning 和机器学习中的潜在问题。

Aug, 2021

联邦学习中模型的深度泄漏

本文提出了两个新的框架，证明在联合学习的情况下传输模型权重也可能会泄露客户端的本地数据，同时介绍了两种对抗措施和评估其保护效果。

Jun, 2022

通过生成的渐变泄露审计联邦学习中的隐私防御

本文探讨了如何避免在联邦学习框架下，通过梯度信息泄露用户隐私的问题，并提出了一种名为生成梯度泄露的新型隐私泄露方法。作者为了解决这个问题，探讨了各种无梯度优化方法，并相对于梯度优化方法实现了更好的高质量图像重建效果。

Mar, 2022

GRNN: 生成回归神经网络 -- 针对联邦学习的数据泄漏攻击

本文介绍了一种名为 GRNN 的新方法，该方法利用了生成对抗网络（GAN）来恢复共享梯度中的隐私信息。结果表明，这种方法在图像分类任务中表现出更好的稳定性、更强的鲁棒性和更高的准确性，同时无需全局 FL 模型的收敛要求，具有非常多的实用价值。

May, 2021

NoPeek：减少信息泄露以在分布式深度学习中共享激活

本文提出了一种基于距离相关性降低原始数据和中间表示之间信息泄露的分布式深度学习方法，以应对敏感数据对分布式机器学习服务的限制。该方法在训练和推断过程中通过减少数据和表示之间的距离相关来预防原始数据的重构攻击。实验证明该方法能够有效保护隐私信息并保持高的分类准确率。

Aug, 2020