May, 2023

通过对抗解耦增强框架实现面部隐私保护的提示鲁棒性

PDF
TL;DR本研究提出了一种基于 Adversarial Decoupling Augmentation Framework (ADAF) 的面部隐私保护算法，通过针对图像 - 文本融合模块增强面部隐私保护算法的防御性能，采用多级文本相关增强措施提高对各种攻击者提示的防御稳定性，并在 CelebA-HQ 和 VGGFace2 上进行广泛的实验，证明了 ADAF 比现有算法具有更好的性能。
denoising diffusion modelstext-to-image modelsfacial privacy protectionadversarial decoupling augmentation frameworkmulti-level text-related augmentations
发现论文，激发创造
  • Adv-Diffusion: 通过潜在扩散模型实施难以察觉的敌对人脸身份攻击

    该研究论文提出了一种统一的框架 Adv-Diffusion，可以在潜在空间而不是原始像素空间中生成不可感知的对抗性身份扰动，利用潜在扩散模型的强大修补能力生成逼真的对抗性图像。通过在周围环境中生成语义扰动的身份敏感条件扩散生成模型，设计了自适应强度的对抗性扰动算法，既能确保攻击的可传递性又能保持隐秘性。在公开的 FFHQ 和 CelebA-HQ 数据集上进行了广泛的定性和定量实验，证明该方法在没有额外的生成模型训练过程的情况下取得了卓越的性能。源代码可在此链接中获取。

    Dec, 2023

  • DiffProtect：使用扩散模型生成对抗样本以实现面部隐私保护

    利用扩散自编码器生成的加密人脸图像，提高了对抗攻击的成功率并提升了视觉质量。

    May, 2023

  • DiffuseDef: 对抗攻击下的改进鲁棒性

    通过结合迁移学习、扰动模型和集成学习技术，我们提出了一种新颖和灵活的文本分类对抗防御方法 DiffuseDef，它在编码器和分类器之间引入扩散层作为去噪器，经过迭代去噪和集成生成鲁棒的文本表示。实验证明，DiffuseDef 在各种对抗性攻击中表现优异，实现了最先进的性能。

    Jun, 2024

  • AdaDiff：自适应步长选择的快速扩散

    AdaDiff 是一个轻量级框架，通过学习实例特定的步骤使用策略，优化了扩散模型的图像 / 视频生成过程，以最大化平衡推理时间和生成质量的回报函数，并在减少推理时间至少 33% 的情况下实现与基准方法相似的视觉质量。

    Nov, 2023

  • 扰乱传播：基于令牌级别的注意力删除攻击针对基于传播的定制化

    本文提出了 DisDiff（Disrupting Diffusion），一种破坏扩散模型输出的新型对抗攻击方法。通过运用 Cross-Attention Erasure 模块来显式 “擦除” 指示的注意力图，并分析扩散模型的采样过程对 PGD 攻击的影响，引入了一种新颖的 Merit Sampling Scheduler 来自适应地调节扰动更新振幅。在两个面部基准和两个常用的提示场景上，我们的 DisDiff 方法在 FDFR 分数上优于现有方法 12.75％，在 ISM 分数上优于现有方法 7.25％。

    May, 2024

  • 通过有针对性的攻击揭示稳定扩散中的漏洞

    本研究针对 Stable Diffusion 模型的脆弱性，提出一种生成特定图像的对抗性提示框架，并通过揭示导致模型脆弱性的机制来证明方法的有效性。

    Jan, 2024

  • 文本图像指导的扩散模型用于生成深度伪造的名人互动

    通过改进扩散模型以生成可控高质量的深度伪造图像，并使用 Dreambooth 训练提供更真实和个性化的输出图像，该研究展示了以惊人的逼真度创建虚假的视觉内容，并可作为权力政治人物会面的可信证据。

    Sep, 2023

  • 对抗性人脸合成

    该论文提出 AdvFaces，一种基于生成对抗网络 (GAN) 的自动化方法，用最小的扰动生成看似合法但实际上能够欺骗最新人脸识别系统的假冒人脸或模糊真正主题的攻击性人脸图像。

    Aug, 2019

  • DiffAM：基于扩散的面部隐私保护对抗妆容转换

    利用扩散模型生成对抗性妆容转移以保护人脸图像隐私的研究

    May, 2024

  • StyleAvatar3D: 基于图像文本扩散模型实现高保真 3D 头像生成

    本文提出了一种新的方法，结合使用预训练的图像文本扩散模型和基于生成对抗网络的 3D 生成网络，用于生成高质量，风格化的 3D 头像，并在视觉质量和多样性方面优于现有最先进的方法。

    May, 2023