DAGER：大型语言模型的精确梯度反转

May, 2024

DAGER：大型语言模型的精确梯度反转

DAGER: Exact Gradient Inversion for Large Language Models

Ivo Petrov, Dimitar I. Dimitrov, Maximilian Baader, Mark Niklas Müller, Martin Vechev

TL;DRDAGER 是一种用于恢复文本数据批的算法，通过利用 self-attention 层的梯度的低秩结构和标记嵌入的离散性质，以精确的方式恢复整个批次的输入文本数据，用于编码器和解码器架构，并在实验中表现出超过 0.99 的 ROUGE-1/2，速度比之前的攻击快了 20 倍，并且在可扩展性上可以处理 10 倍以上的批大小。

Abstract

federated learning works by aggregating locally computed gradients from multiple clients, thus enabling collaborative training without sharing private client data. However, prior work has shown that the data can actually be recovered by the server using so-called →

federated learning gradient inversion attacks dager token sequence language models

发现论文，激发创造

SPEAR：联邦学习中批量的精确梯度反演

提出了第一个可以准确重建批量大小为大于 1 的全批量的算法，并通过 ReLu 诱导的梯度稀疏性来过滤错误样本，具有高效的 GPU 实现，能够准确恢复小于 25 个元素的批量，适用于大型网络。

Mar, 2024

基于 Transformer 的语言模型的梯度攻击

该研究首次针对 Transformer 的语言模型提出了梯度攻击问题，并提出了一个梯度攻击算法（TAG），该算法在 reconstructing training data 方面的效率得到了较大提高，表现出在 CoLA 数据集上攻击梯度，可以获得高达 90% 的数据，并且在大型模型、小型字典大小和小输入长度上具有更强的对手优势，旨在为 Transformer 的 NLP 模型中的隐私泄漏问题提供解决方案。

Mar, 2021

在联邦学习中利用语言模型的汇聚层输入：超越梯度和先验的隐私攻击

该研究通过增强攻击方法，在不同批次大小和模型上持续超越之前的最先进结果，提高文本分类任务中的隐私攻击恢复率。

Dec, 2023

联邦学习语言模型中的私有文本恢复

本文介绍了一种新颖的攻击方法 FILM，用于联邦学习过程中语言模型的训练，成功恢复单句和多句的私有文本数据，并讨论了三种防御方法。

May, 2022

使用梯度混合策略增强联邦学习中的隐私保护

本文探究了几个神经网络设计决策如何防御梯度反演攻击，提出重叠梯度可以在高度易受攻击的全连接层上提供数值抵抗，并通过合适的损失函数和相同标签的批处理最大程度地混合梯度，从而避免了数据泄露的风险，并提出了一个基于绝对变异距离的信息泄露连续统计，最终通过经验结果验证所提出的防御策略对信息恢复有一定的应用。

Apr, 2022

面向联邦学习的通用深度泄露

该研究论文研究了联邦学习中的数据隐私问题，提出了一种从共享梯度或权重中恢复训练数据的方法，并使用方法在 CIFAR-10 和 ImageNet 等图像基准上进行了实验，超过了现有的 GradInversion 技术。

Oct, 2021

强化优化的时间梯度反转攻击

本文介绍了一种名为 TGIAs-RO 的新型 Gradient Inversion Attacks 攻击方式，采用多重时间梯度来恢复本地客户端保留的私有数据，能够有效克服瓶颈，提高重构性能和鲁棒性，同时启发了更多关于联邦学习中隐私保护方法的探索。

Jun, 2023

R-GAP: 递归梯度攻击隐私

本研究提出了一种递归梯度攻击算法（R-GAP）及排名分析方法，能够从梯度中恢复原始数据并评估网络结构的安全性，实验结果表明该算法能在一定的条件下以较小的计算量实现与优化方法同等甚至更好的隐私保护。

Oct, 2020

使用动态准则改进自回归训练

为解决 NLP 任务中的暴露偏差和指标不匹配问题，本文提出了一种基于动态预示算法的解决方案，并开发了新型的动态预示算法，证明其在类似基于跨度的 F1 指标上保持了 DAgger 的无遗憾保证。作者评估了该算法在命名实体识别、文本摘要和机器翻译等任务中的性能，在机器翻译实验中，DAgger with dynamic oracle 的结果不如基准技术，但在命名实体识别和文本摘要方面表现优秀。

Jun, 2024

透过树木看到森林：部分变压器梯度的数据泄漏

分布式机器学习中的梯度反演攻击问题及其对隐私数据的泄露风险进行研究和验证，并发现在语言模型的各个中间层存在训练数据泄露的漏洞。实验证实，单个 Transformer 层甚至一个线性组件的 0.54% 参数的梯度也存在训练数据泄露的问题。此外，研究还表明，在训练过程中对梯度应用差分隐私仅能提供有限的数据泄露保护。

Jun, 2024