破坏基于扩散的修复者的语义偏离
GradPaint是一种用于图像修复的方法,通过计算模型的损失与输入图像的相干性,并使用扩散模型本身的梯度来引导生成过程,从而改善了目前基于监督和非监督方法的最新技术。
Sep, 2023
本文提出了一种基于DDPM的模型,能够通过使用生成对抗网络(GAN)的生成器来建模反向扩散过程,从而以较低的采样成本填充丢失的像素,实验结果表明我们的方法在通用图像修复数据集上表现出卓越性能。
Aug, 2023
基于扩散的对抗净化技术MimicDiffusion直接近似扩散模型的生成过程,以清晰图像作为输入,通过分析使用清晰图像和对抗样本时的引导项的差异,通过曼哈顿距离和两种引导策略净化对抗扰动,逼近清晰扩散模型,实验证明MimicDiffusion显著优于现有算法,在CIFAR-10、CIFAR-100和ImageNet三个数据集上的平均鲁棒准确率分别提高了18.49%、13.23%和17.64%。
Dec, 2023
本研究提出了一种新的策略,将遮盖图像特征和噪声潜在特征分成独立分支,引入了BrushNet模型来将像素级遮盖图像特征嵌入任意预训练的扩散模型,以保证连贯和增强的图像修复结果,并通过多个指标评估实验证明了BrushNet在图像质量、遮盖区域保留和文本连贯性等七个关键度量上的优越性。
Mar, 2024
本文提出了DisDiff(Disrupting Diffusion),一种破坏扩散模型输出的新型对抗攻击方法。通过运用Cross-Attention Erasure模块来显式“擦除”指示的注意力图,并分析扩散模型的采样过程对PGD攻击的影响,引入了一种新颖的Merit Sampling Scheduler来自适应地调节扰动更新振幅。在两个面部基准和两个常用的提示场景上,我们的DisDiff方法在FDFR分数上优于现有方法12.75%,在ISM分数上优于现有方法7.25%。
May, 2024
通过引入PILOT(基于新颖的语义集中和背景保护损失的潜在优化)方法,我们在现有的大规模扩散模型的基础上提出了一种优化方法,可以生成具有高保真度的修复区域,并与背景保持一致,从而在对给定提示进行回应时表现出更高的一致性、多样性和可信性。
Jul, 2024
本研究解决了扩散基础净化方法在处理对抗性示例中的固有净化误差问题。提出的LoRID方法通过多阶段净化过程和Tucker分解,实现在高噪声条件下有效去除对抗性噪声。研究表明,LoRID显著提高了在CIFAR-10/100、CelebA-HQ和ImageNet数据集中的对抗性攻击鲁棒性。
Sep, 2024
本研究针对现有深伪检测方法在未知领域泛化能力不足的问题,提出了一种新颖的解决方案DiffusionFake。通过逆向生成伪造面孔的过程,该框架通过引导重构提取出的特征,提升了检测模型的生成特征的表征能力,从而在面对未见伪造面孔时表现出更强的鲁棒性。实验结果表明,DiffusionFake显著提高了多种检测架构的跨域泛化能力。
Oct, 2024
本研究针对扩散模型的潜在滥用问题,提出了DiffusionGuard,一种有效的防御方法,旨在保护用户免受未经授权的图像编辑。通过分析扩散过程,我们设计了针对早期阶段的对抗噪声生成目标,并引入了掩膜增强技术,以提高对各种掩膜的鲁棒性。实验表明,该方法在多个性能指标上均优于现有基准,展示了其强大的保护能力和较低的计算成本。
Oct, 2024