Jun, 2024

扩散模型的安全性研究：基于梯度引导的扩散模型导致严重数据泄漏

PDF
TL;DR通过扩散模型并利用梯度指导的微调方法，我们提出了一种新的重建攻击方法，可通过泄露的梯度从图像处理系统中窃取私密的高分辨率图像。实验结果表明，我们的攻击方法能够成功恢复和窃取分辨率高达 512 x 512 像素的图像。此外，我们的攻击方法在图像重建的像素级准确性和时间效率方面明显优于其他攻击基准方法，并在一定程度上使差分隐私失效。
gradient leakageprivacy breachesimage processing systemsreconstruction attackdiffusion models
发现论文，激发创造
  • 联邦扩散模型的梯度反演

    我们研究了扩散模型在生成高分辨率图像数据方面的应用，使用基于梯度的协作训练方法，我们设计了一种融合优化模型（GIDM），以减小梯度反演攻击的风险，并进一步提出了三重优化模型（GIDM+）来解决隐私保护方面的挑战。通过广泛的评估结果，我们发现共享梯度对于扩散模型的数据保护存在漏洞，即使是高分辨率图像也可以被高质量地重建。

    May, 2024

  • 扩散模型的视觉隐私审计

    通过实证研究探讨差分隐私参数选择的挑战，揭示了实际数据与重建目标之间领域转变的关系，提出了基于扩散模型的重建攻击方法，并证明了真实数据先验对于重建的影响，现有的重建边界不良模拟了数据先验的风险，并且扩散模型可以作为有效的隐私泄漏审计工具。

    Mar, 2024

  • 振荡泄密：微调扩散模型能够放大生成的隐私风险

    扩散模型存在隐私风险，其中 Shake-to-Leak (S2L) 是一种新的风险，通过操纵数据以微调预训练模型，可以增强现有的隐私风险，尤其在扩散模型下还比过去认识的更严重。

    Mar, 2024

  • 从扩散模型获取训练数据

    本文研究了图像扩散模型，如 DALL-E 2，Imagen 和 Stable Diffusion，发现它们从训练数据中记忆单个图像并在生成时发射此类图像，总结了此类模型的隐私风险和影响隐私保护培训的新进展。

    Jan, 2023

  • 扩散模型的差分隐私微调

    在此篇文章中，我们提出了一种为私有扩散模型优化参数效率的微调策略，通过减少可训练参数的数量来增强隐私 - 效用平衡，从而在 DP 合成方面取得了最先进的性能，在广泛研究的数据集上明显超过了先前的基准（如 CelebA-64 数据集上的小隐私预算下，仅有 0.47M 个可训练参数，在先前最先进结果上实现了超过 35% 的改进）。

    Jun, 2024

  • 梯度深度泄露

    该论文通过实验证明了在现代多节点机器学习系统中，梯度交换流程中存在着可以泄露隐私数据的问题。作者指出梯度裁剪是当前最有效的解决方案。

    Jun, 2019

  • 通过采样预训练扩散模型进行有针对性的图像重建

    该研究提出利用预训练扩散模型生成目标类别的数据点的方法，突破先前攻击者需要准确的先验目标分布的限制，以此发动神经网络模型逆推攻击的严重性。

    Jan, 2023

  • 保护性扰动是否可以防止个人数据受稳定扩散的侵害？

    在这篇论文中，我们系统评估了使用扰动在实际威胁模型下保护图像的方法，并介绍了一种能够在最大程度上保留原始图像结构的净化方法。实验证明，稳定扩散可以有效地从净化后的图像中学习，并且对各种保护方法具有良好的适应性。

    Nov, 2023

  • Transformer 中梯度泄漏的攻击和防御的理论洞察

    梯度泄漏攻击与防御策略的全面分析，为基于变压器模型的隐私保护技术的发展做出了积极贡献，旨在促进保护敏感数据和在变压器模型背景下维护隐私的进展。

    Nov, 2023

  • 神经网络图像分类中的梯度泄露训练数据理解

    本文分析了基于梯度下降的攻击如何泄露深度学习模型的训练数据，并提出了一种度量安全性的指标，同时也提出了一种用于解决重构训练数据的优化问题的方法。

    Nov, 2021