无提示对抗扰动的定制扩散模型
本研究提出了一种基于Adversarial Decoupling Augmentation Framework (ADAF)的面部隐私保护算法,通过针对图像-文本融合模块增强面部隐私保护算法的防御性能,采用多级文本相关增强措施提高对各种攻击者提示的防御稳定性,并在CelebA-HQ和VGGFace2上进行广泛的实验,证明了ADAF比现有算法具有更好的性能。
May, 2023
通过引入全面的理论框架并提出新的对抗性攻击方法,本文对基于LDM的对抗性攻击进行了深入研究,通过严格的实验,证明该方法优于现有攻击方法,并能在不同的基于LDM的少样本生成流程中进行泛化,成为在新一代强大生成模型中可为暴露于数据隐私和安全风险中的人们提供更强大和高效的保护工具。
Oct, 2023
通过引入名为IMPRESS的扰动净化平台,我们评估了不易察觉的扰动作为一种保护措施的有效性,并提供了对几种现代保护方法的全面评估,同时可作为未来保护方法的评估平台。
Oct, 2023
在这篇论文中,我们系统评估了使用扰动在实际威胁模型下保护图像的方法,并介绍了一种能够在最大程度上保留原始图像结构的净化方法。实验证明,稳定扩散可以有效地从净化后的图像中学习,并且对各种保护方法具有良好的适应性。
Nov, 2023
本研究关注于视觉内容创作中扩散定制方法的隐私和政治问题,并提出了两个方法以增强当前的反定制方法。首先,通过对图像频域中时间步长选择和模型感知之间的关系进行研究,提出了一种自适应贪心搜索的优化方法。其次,通过对去噪过程中不同层次特征的作用进行分析,并设计了一种基于特征的优化框架,从而显著提高了身份干扰,增强了用户的隐私和安全性。
Dec, 2023
本文提出了DisDiff(Disrupting Diffusion),一种破坏扩散模型输出的新型对抗攻击方法。通过运用Cross-Attention Erasure模块来显式“擦除”指示的注意力图,并分析扩散模型的采样过程对PGD攻击的影响,引入了一种新颖的Merit Sampling Scheduler来自适应地调节扰动更新振幅。在两个面部基准和两个常用的提示场景上,我们的DisDiff方法在FDFR分数上优于现有方法12.75%,在ISM分数上优于现有方法7.25%。
May, 2024
通过对视觉编码器的操作,提出了名为Prompt-Independent Defense(PID)的简单而有效的方法,以保护数据免受Latent Diffusion Models(LDMs)的侵害,并显著减少计算资源的需求。
Jun, 2024
通过捷径学习视角细致观察个性化扩散模型的微调过程,提出了一种能解释现有扰动方法基本捷径学习漏洞的假设。基于这一观察,提出了一种系统性方法来保持训练绩效并通过纯化重排潜在图像和其语义含义,还引入了负令牌的对比学习,以解耦所需的干净身份学习和不需要的噪声模式,对进一步适应性扰动显示出强大的潜力能力。
Jun, 2024
本研究解决了个性化概念生成中关于隐私和知识产权的法律和伦理问题。提出的视觉友好概念保护框架(VCPro)通过降低可见性来保护图像所有者选择的关键概念,通过Lagrangian乘数法找到最不显眼但有效的对抗扰动,实验结果表明,VCPro在可见性与保护有效性之间达成了更好的平衡。
Aug, 2024