iDLG: 梯度泄漏的改进深度学习

Jan, 2020

iDLG: Improved Deep Leakage from Gradients

Bo Zhao, Konda Reddy Mopuri, Hakan Bilen

TL;DR本文提出了一种名为 iDLG 的改良方法，该方法能够从共享梯度中提取与 DLG 方法不同的正确标签，并且该方法适用于使用交叉熵损失训练的任何可微分模型，具有优越性能。

Abstract

It is widely believed that sharing gradients will not leak private training data in distributed learning systems such as Collaborative Learning and Federated Learning, etc. Recently, Zhu et al. presented an approach which shows the possibility to obtain →

distributed learning systems private training data deep leakage from gradient ground-truth labels improved dlg

发现论文，激发创造

Transformer 中梯度泄漏的攻击和防御的理论洞察

梯度泄漏攻击与防御策略的全面分析，为基于变压器模型的隐私保护技术的发展做出了积极贡献，旨在促进保护敏感数据和在变压器模型背景下维护隐私的进展。

Nov, 2023

梯度深度泄露

该论文通过实验证明了在现代多节点机器学习系统中，梯度交换流程中存在着可以泄露隐私数据的问题。作者指出梯度裁剪是当前最有效的解决方案。

Jun, 2019

面向联邦学习的通用深度泄露

该研究论文研究了联邦学习中的数据隐私问题，提出了一种从共享梯度或权重中恢复训练数据的方法，并使用方法在 CIFAR-10 和 ImageNet 等图像基准上进行了实验，超过了现有的 GradInversion 技术。

Oct, 2021

神经网络图像分类中的梯度泄露训练数据理解

本文分析了基于梯度下降的攻击如何泄露深度学习模型的训练数据，并提出了一种度量安全性的指标，同时也提出了一种用于解决重构训练数据的优化问题的方法。

Nov, 2021

分布式训练中标签的揭示与保护

本文提出了一种从模型最后一层的梯度和 id 映射中发现训练样本标签的方法，该方法适用于多个领域的各种模型架构，并在图像分类和自动语音识别两个领域的模型训练中展示了其有效性，同时还发现梯度量化和稀疏化可以显著降低攻击的成功率。

Oct, 2021

通过生成的渐变泄露审计联邦学习中的隐私防御

本文探讨了如何避免在联邦学习框架下，通过梯度信息泄露用户隐私的问题，并提出了一种名为生成梯度泄露的新型隐私泄露方法。作者为了解决这个问题，探讨了各种无梯度优化方法，并相对于梯度优化方法实现了更好的高质量图像重建效果。

Mar, 2022

Dropout 对抗梯度泄漏

本文提出了在分类器前使用额外的 dropout 层的方法来防止原始数据泄露，以解决在 federal learning 和机器学习中的潜在问题。

Aug, 2021

通过反演影响函数理解深层渗漏梯度

基于 Inversion Influence Function (I^2F) 的研究，探讨了深度梯度泄漏攻击及隐私保护方法。

Sep, 2023

透过树木看到森林：部分变压器梯度的数据泄漏

分布式机器学习中的梯度反演攻击问题及其对隐私数据的泄露风险进行研究和验证，并发现在语言模型的各个中间层存在训练数据泄露的漏洞。实验证实，单个 Transformer 层甚至一个线性组件的 0.54% 参数的梯度也存在训练数据泄露的问题。此外，研究还表明，在训练过程中对梯度应用差分隐私仅能提供有限的数据泄露保护。

Jun, 2024

联邦扩散模型的梯度反演

我们研究了扩散模型在生成高分辨率图像数据方面的应用，使用基于梯度的协作训练方法，我们设计了一种融合优化模型（GIDM），以减小梯度反演攻击的风险，并进一步提出了三重优化模型（GIDM+）来解决隐私保护方面的挑战。通过广泛的评估结果，我们发现共享梯度对于扩散模型的数据保护存在漏洞，即使是高分辨率图像也可以被高质量地重建。

May, 2024