Dec, 2021

APRIL: 针对视觉 Transformer 隐私泄漏的阿喀琉斯之踵的发现

PDF
TL;DR本文分析了基于自注意力机制的 Transformer 模型的梯度泄漏风险，提出 APRIL- Attention PRIvacy Leakage，强调设计隐私安全的 Transformer 模型和防御方案的重要性。
federated learninggradient leakage attackstransformersprivacy riskself-attention
发现论文，激发创造
  • 透过树木看到森林：部分变压器梯度的数据泄漏

    分布式机器学习中的梯度反演攻击问题及其对隐私数据的泄露风险进行研究和验证，并发现在语言模型的各个中间层存在训练数据泄露的漏洞。实验证实，单个 Transformer 层甚至一个线性组件的 0.54% 参数的梯度也存在训练数据泄露的问题。此外，研究还表明，在训练过程中对梯度应用差分隐私仅能提供有限的数据泄露保护。

    Jun, 2024

  • 基于 Transformer 的语言模型的梯度攻击

    该研究首次针对 Transformer 的语言模型提出了梯度攻击问题，并提出了一个梯度攻击算法（TAG），该算法在 reconstructing training data 方面的效率得到了较大提高，表现出在 CoLA 数据集上攻击梯度，可以获得高达 90% 的数据，并且在大型模型、小型字典大小和小输入长度上具有更强的对手优势，旨在为 Transformer 的 NLP 模型中的隐私泄漏问题提供解决方案。

    Mar, 2021

  • 具有自动转换搜索的隐私保护协作学习

    本论文提出了一种基于数据增强的解决方案，以防止敌对方从共享的梯度中恢复训练数据，文中使用创新的搜索方法发现数据增强策略，并使用两个新的度量指标来评估策略的影响，实验结果表明该方法能够高效地击败现有的重建攻击，对模型性能影响微不足道。

    Nov, 2020

  • Transformer 中梯度泄漏的攻击和防御的理论洞察

    梯度泄漏攻击与防御策略的全面分析，为基于变压器模型的隐私保护技术的发展做出了积极贡献，旨在促进保护敏感数据和在变压器模型背景下维护隐私的进展。

    Nov, 2023

  • 联邦学习系统中对抗训练模型的隐私泄露

    本文研究 Adversarial Training 在保护模型免受对抗攻击的同时可能会使模型更容易受到隐私攻击，并设计了一种新型的隐私攻击方法，在使用 Federated Learning 系统时，攻击者可以利用我们的方法准确重构用户的私人训练图像，而无须关心训练批次的大小。

    Feb, 2022

  • Decepticons：损坏变形金刚在语言模型联邦学习中侵犯隐私

    提出了一种攻击机制可在 Federated Learning 中，通过恶意参数向量直接攻击文本应用程序，利用 Transformer 架构和标记嵌入技术提取标记和位置嵌入来检索高保真文本，使得历史上抵抗隐私攻击的文本 Federated Learning 变得比以前更加脆弱。

    Jan, 2022

  • 深度学习模型架构如何影响其隐私？

    本文通过实验证明，在深度神经网络中，模型结构对于模型的隐私性具有影响，并发现激活层、干细胞层和偏置参数的微观设计是 CNN 相对于 Transformers 更健壮的主要原因，而注意力模块的存在也是 Transformers 更容易受到隐私攻击的另一个原因。

    Oct, 2022

  • 通过生成的渐变泄露审计联邦学习中的隐私防御

    本文探讨了如何避免在联邦学习框架下，通过梯度信息泄露用户隐私的问题，并提出了一种名为生成梯度泄露的新型隐私泄露方法。作者为了解决这个问题，探讨了各种无梯度优化方法，并相对于梯度优化方法实现了更好的高质量图像重建效果。

    Mar, 2022

  • 联邦学习中潜在信息泄露的逐层特征化

    该论文通过定义两个基于 V-information 和 Jacobian 矩阵的度量标准，分析属性推断攻击，测量作为迭代模型接口的梯度的改变，进而在实践中评估联邦学习下隐私信息泄漏的数量。

    Oct, 2020

  • ViP：面向计算机视觉的差分隐私基础模型

    本文主要介绍了使用差分隐私 DP 保证训练基础视觉模型的方法，以规避互联网规模数据的隐私和法律风险，并通过对 LAION400M 数据集上训练的视觉 Transformer ViP 的评估，展示了在严格隐私预算下获得可行的准确性和质量。

    Jun, 2023