Oct, 2024

DiffusionGuard: 一种针对恶意扩散式图像编辑的强健防御

HTML
PDF
TL;DR本研究针对扩散模型的潜在滥用问题，提出了DiffusionGuard，一种有效的防御方法，旨在保护用户免受未经授权的图像编辑。通过分析扩散过程，我们设计了针对早期阶段的对抗噪声生成目标，并引入了掩膜增强技术，以提高对各种掩膜的鲁棒性。实验表明，该方法在多个性能指标上均优于现有基准，展示了其强大的保护能力和较低的计算成本。
发现论文，激发创造
  • DiffProtect：使用扩散模型生成对抗样本以实现面部隐私保护

    利用扩散自编码器生成的加密人脸图像，提高了对抗攻击的成功率并提升了视觉质量。

    May, 2023

  • CRoSS：扩散模型使图像隐写具有可控、稳健和安全性

    我们提出了一种新的图像隐写术框架CRoSS，使用扩散模型获得可控性、鲁棒性和安全性优势，相比基于封面的方法有显著的优势，并在实验中进行了验证。

    May, 2023

  • 扩散模型无法学习的示例：保护数据免受未经授权的利用

    本文提出了一种针对Diffusion Model的保护图像的方法，通过生成样本特定的扰动噪声使训练数据难以被Diffusion Model学习，以此保护隐私和版权。

    Jun, 2023

  • 通过分数蒸馏实现对基于扩散模仿的有效保护

    本研究针对生成扩散模型，发现攻击点在于编码器模块，并提出了Score Distillation Sampling (SDS) 策略来保护图像并减少内存占用，同时通过最小化语义损失生成更自然的扰动，希望能够为恶意扩散模仿的防御做出贡献。

    Oct, 2023

  • 一种相对强健的基于扩散编辑模型的图像水印

    最近，扩散模型（DMs）已成为图像合成的最先进方法，而基于DMs的编辑模型，以其高保真度和精度而闻名，无意中引入了与图像版权侵权和恶意编辑相关的新挑战。我们的工作是首次对这个问题进行规范化和解决。经过评估和试图增强传统图像水印技术后，我们意识到它们在这个新兴环境中的局限性。为此，我们开发了一种新颖的技术，RIW（稳健隐形水印），利用对抗示例技术嵌入隐形水印。与传统方法提供的0%相比，我们的技术确保了在编辑后的隐形水印的96%的高提取准确性。我们提供了我们的代码访问链接。

    Nov, 2023

  • 像素是一道屏障：扩散模型比我们认为的更具对抗性的鲁棒性

    通过对扩散模型中的对抗性示例进行研究，我们发现扩散模型在像素空间中对抗性示例(即PDMs)具有较强的鲁棒性，并可用作有效去除对LDMs生成的对抗性模式的净化器，使得现有的多种保护方法在一定程度上无法有效保护我们的图像。

    Apr, 2024

  • 扩散策略攻击者：针对基于扩散的策略的制造对抗攻击

    基于扩散模型的行为克隆，探讨扩扩散策略的安全问题，引入对抗攻击场景，构建DP-Attacker算法套件，对各种攻击场景下的预先训练的扩散策略进行实验攻击，证明DP-Attacker具有显著降低DP成功率的能力。

    May, 2024

  • 扩散模型的隐形后门攻击

    本文介绍了一种创新而多功能的优化框架，用于获取不可见的触发器，增强插入后门的隐蔽性和韧性。我们的研究首次展示了在文本引导的图像编辑和修复流程中进行扩散模型后门注入的能力，同时还发现条件生成中的后门直接适用于模型水印验证，进一步提升了所提框架的重要性。多个常用采样器和数据集上的广泛实验证实了所提框架的有效性和隐蔽性。

    Jun, 2024

  • 生成扩散模型的攻击与防御：综合调查

    本研究解决了生成扩散模型（DMs）在安全性方面的重大问题，特别是其易受到多种攻击的弱点。通过全面调查现有攻击和防御方法，作者提出了对不同类型DMs的深入分析，并指出了潜在的防御措施和未来研究方向。该研究的发现为改善DMs的安全性提供了重要的参考，促进了对这一日益重要领域的理解和关注。

    Aug, 2024

  • 像素并非障碍：针对像素域扩散模型的有效规避攻击

    本研究解决了像素域扩散模型遭受恶意编辑风险的问题，提出了一种新的攻击框架，通过特征表示攻击损失来利用去噪UNet的脆弱性，并采用潜在优化策略提升受保护图像的自然性。实验表明，该方法在攻击主流的PDM编辑方法时保持了合理的保护保真度，并对常见防御方法展现出强健性，且适用于LDMs。

    Aug, 2024