利用小波变换提升可泛化的深度伪造检测
本文提出了一种新型深度伪造检测方法,利用Vision Transformer、Scaling and Shifting pretraining以及Timeseries Transformer 分割视频,实现对视频帧的完整性检测,此方法能够高效地检测现有的深度伪造技术。
May, 2023
本文提出了第一种参数高效调节 deepfake 检测模型的方法 DeepFake-Adapter,该方法采用适配器模块从大型预训练 Vision Transformers 中提取高级语义,以有效且高效地帮助 deepfake 检测。通过在 MLP 层旁插入具有全局感知的 Englobed Adapters 和跨越 ViT 特征的局部感知的空间 Adapter,该方法可以将先前训练好的 Vision Transformers 的高级语义与本地和全局低级别伪造的 deepfake 数据的降噪信息相结合,从而提高 deepfake 的准确度和泛化能力。
Jun, 2023
本文研究的问题是可广泛适用的合成图像检测,旨在检测来自各种生成方法,例如GAN和扩散模型的伪造图像。研究发现,传统的固定模式不利于学习伪造表示,因此提出了一种新颖的伪造感知自适应变压器方法,即FatFormer。经过实验验证,FatFormer在未见过的GAN和扩散模型上表现出色,检测性能平均达到98%和95%的准确率。
Dec, 2023
该研究探索了预训练视觉-语言模型与先进适应方法相结合在通用深假检测中的有效性,结果表明,保留视觉和文本部分对于检测效果至关重要。通过提出的简单轻量级的Prompt Tuning适应策略,使用较少的训练数据(20万张图像,相较于72万张),在mAP和准确率上超过先前的方法5.01%和6.61%。在21个不同数据集的严格测试中,该模型展现了在包括基于GANs、基于Diffusion和商业工具生成的图像中的实际适用性。
Feb, 2024
这篇论文介绍了一种用于检测深度伪造的频率增强自混合图像(FSBI)方法,通过利用离散小波变换(DWT)从自混合图像(SBI)中提取判别特征,训练卷积网络模型,在频域中检测时间域中难以检测到的伪造痕迹,并在FF++和Celeb-DF数据集上的跨数据集评估中表现优于现有技术。
Jun, 2024
本研究解决了AIGC检测中的深伪图像识别问题,尤其是利用CLIP模型的有效性。通过分析CLIP的检测特征,提出了C2P-CLIP方法,将类别公共提示融入文本编码器中,从而提升了图像编码器的检测性能,实现了12.41%的准确率提升,展示了创新的深伪检测能力及其广泛应用前景。
Aug, 2024
本研究针对现有冷冻预训练CLIP-ViT模型在深度伪造检测中因提取的视觉特征过于冗余而导致的效果有限这一问题,提出了一种新的高效模型GFF。通过深度伪造特征引导模块和多阶段融合模块,GFF有效减少无关信息,提升了检测性能,并在仅需5个训练周期内实现了最先进的检测表现。
Aug, 2024
本文解决了深度伪造视频检测中的三个主要挑战,包括如何识别通用的时间伪影、平衡学习时空特征以及提高效率而不牺牲准确性。研究提出了视频级混合数据作为新的方法,并设计了轻量级的时空适配器,以有效地捕捉空间和时间特征。实验证明该方法能有效推广到未见过的伪造视频,并释放了相关代码与预训练权重。
Aug, 2024
本研究解决了现有的人脸伪造检测方法对精细噪声和文本等其他模态的忽视,从而提升了模型的泛化能力。我们提出了一种新颖的多模态精细CLIP(MFCLIP)模型,通过语言引导的伪造表示学习,提取综合且精细的伪造特征,实现对扩散合成伪造的有效检测。实验结果表明,该模型在跨生成器、跨伪造和跨数据集评估中均优于现有最先进的方法。
Sep, 2024
本研究解决了深度伪造检测模型在未见数据集和新创作方法上的泛化能力不足的问题。论文提出了一种新颖的深度伪造检测方法CDFA,它通过渐进式课程动态伪造增强策略,提高了检测器在跨数据集和跨操作的性能。研究结果显示,CDFA显著提升了多种基础深度伪造检测器的检测效果,超越了现有方法。
Sep, 2024