Aug, 2024

针对潜在扩散模型的灰盒攻击：后验崩溃

HTML
PDF
TL;DR本研究解决了潜在扩散模型（LDMs）在图像编辑中的数据滥用和知识产权侵犯问题。提出的后验崩溃攻击（PCA）不依赖于目标模型的白盒信息，通过利用VAE编码器的少量参数，显著降低了生成图像的语义质量和感知一致性。实验结果表明，PCA在生成图像的干扰效果上优于现有技术，为应对生成AI带来的社会技术挑战提供了更强大且通用的解决方案。
发现论文，激发创造
  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • 面向不可察觉和可迁移对抗攻击的扩散模型

    论文介绍一种新型的对抗攻击方法 DiffAttack，该方法利用扩散模型的生成和判别能力，在隐空间中生成人类感知不到的、带有语义线索的扰动，并采用内容保持结构。考虑到攻击的传递性，DiffAttack 进一步“欺骗”扩散模型，以分散其注意力，达到更好的转移性能，实验结果表明，DiffAttack 在各种模型结构和防御方法下具有更高的攻击成功率。

    May, 2023

  • 潜在扩散模型的鲁棒性

    该研究通过分析内部组件对白盒健壮性的影响并评估黑盒健壮性，研究了潜在扩散模型的鲁棒性，发现文献中缺少完整的基准数据集，缺陷自动数据集构建管道可提供数据，用以发掘该模型鲁棒性。

    Jun, 2023

  • 基于扩散模型的语义对抗攻击

    通过利用最近的扩散模型的潜在空间中的语义信息，本文提出了一个快速生成语义对抗攻击的框架，并在CelebA-HQ和AFHQ数据集上进行了大量实验，与其他基线相比，我们的框架在多种情境中取得了极高的成功率，最佳FID为36.61。

    Sep, 2023

  • 理解和改进潜在扩散模型上的对抗攻击

    通过引入全面的理论框架并提出新的对抗性攻击方法，本文对基于LDM的对抗性攻击进行了深入研究，通过严格的实验，证明该方法优于现有攻击方法，并能在不同的基于LDM的少样本生成流程中进行泛化，成为在新一代强大生成模型中可为暴露于数据隐私和安全风险中的人们提供更强大和高效的保护工具。

    Oct, 2023

  • 通过分数蒸馏实现对基于扩散模仿的有效保护

    本研究针对生成扩散模型，发现攻击点在于编码器模块，并提出了Score Distillation Sampling (SDS) 策略来保护图像并减少内存占用，同时通过最小化语义损失生成更自然的扰动，希望能够为恶意扩散模仿的防御做出贡献。

    Oct, 2023

  • 越狱快速攻击：一种针对扩散模型的可控对抗攻击

    通过黑盒攻击方法和分类器自由引导的概念，本研究暴露和强调了现有防御机制的脆弱性，这给图像生成社区带来了安全问题。

    Apr, 2024

  • 欺骗性扩散：生成合成对抗样本

    引入了欺骗扩散的概念--训练生成AI模型以产生具有对抗性的图像。与传统的对抗性攻击算法不同，欺骗扩散模型可以创建任意数量的新的、被错误分类的图像，这些图像与训练或测试图像没有直接关联。欺骗扩散在规模上提供了对抗性训练数据以加强防御算法，包括在其他情况下难以找到的错误分类类型。在我们的实验中，我们还研究了在部分受攻击数据集上进行训练的效果。这突出了生成扩散模型的一种新型漏洞：如果攻击者能够秘密地污染部分训练数据，那么生成的扩散模型将产生相似比例的误导输出。

    Jun, 2024

  • 像素并非障碍：针对像素域扩散模型的有效规避攻击

    本研究解决了像素域扩散模型遭受恶意编辑风险的问题，提出了一种新的攻击框架，通过特征表示攻击损失来利用去噪UNet的脆弱性，并采用潜在优化策略提升受保护图像的自然性。实验表明，该方法在攻击主流的PDM编辑方法时保持了合理的保护保真度，并对常见防御方法展现出强健性，且适用于LDMs。

    Aug, 2024

  • 通过嵌入引导避免生成模型的创作障碍

    本研究解决了生成模型在输出控制方面的挑战，特别是避免产生特定类别的生成内容。提出了一种新的方法，通过嵌入引导使生成模型能有效避开不需要的概念，同时仍然生成有效的图像。研究结果表明，该方法有效防止了记忆化训练图像的生成，同时保持了图像质量和相关性。

    Aug, 2024