Aug, 2024

引导与融合:基于特征引导和多阶段特征融合的高效冷冻CLIP-ViT用于可推广的深度伪造检测

TL;DR本研究针对现有冷冻预训练CLIP-ViT模型在深度伪造检测中因提取的视觉特征过于冗余而导致的效果有限这一问题,提出了一种新的高效模型GFF。通过深度伪造特征引导模块和多阶段融合模块,GFF有效减少无关信息,提升了检测性能,并在仅需5个训练周期内实现了最先进的检测表现。