细粒度人脸伪造检测中的常识推理指南
通过引入细粒度提示和粗细联合训练框架,提出了一种名为视觉语言人脸伪造检测(VLFFD)的新范式,以解决针对深度伪造的检测模型缺乏语义信息和解释性的问题,并在多个具有挑战性的基准测试中证明了该方法对现有的检测模型有所改进。
Jul, 2023
本文提出了一种新的端到端的框架Contrastive Multi-FaceForensics (COMICS),通过双粒度对比学习方法,在多脸伪造检测方面取得了显著的性能提升,并显示了与其他对手方法相比较大的潜力,适用于多种架构。
Aug, 2023
利用人们的常识推理对深度学习伪造进行检测,并通过DD-VQA任务扩展,以建模解释图像真伪的原因,提供了一个包含回答和解释的新数据集,并提出了一种基于视觉和语言的Transformer框架,用于解释性和跨模态的应用于深度伪造检测领域。
Jan, 2024
我们提出了一个大规模、多样化且高保真度的数据集GenFace,用于推动深度伪造检测的发展,该数据集包含了由先进生成器生成的大量伪造人脸,如扩散模型,并提供了有关操作方法和采用生成器的更详细的标签。此外,我们设计了一种创新的跨外观边缘学习(CAEL)检测器,用于捕获多粒度的外观和边缘全局表示,并检测具有区分性和普遍的伪造痕迹。此外,我们设计了外观-边缘交叉注意力(AECA)模块,以探索两个域之间的各种整合。广泛的实验结果和可视化显示,我们的检测模型在跨生成器、跨伪造和跨数据集评估等不同设置下优于最先进的模型。
Feb, 2024
多模态大型语言模型在面部攻击检测、面部欺骗和伪造检测以及多属性思维链等方面表现出潜在的潜力和有效性,优于传统特定模型在可解释性、多模态灵活推理和联合面部欺骗和伪造检测方面
Feb, 2024
通过定义改变语义脸部属性以超过人类辨别阈值的计算方法,构建一个大型脸部伪造图像数据集,并提出了一个以语义为导向的脸部伪造检测方法,展示了该数据集在揭示当前检测器的弱点以及提高其泛化能力方面的优越性。
May, 2024
本研究针对人脸伪造分析中,现有数据集缺乏对伪造技术和面部特征的详细描述的问题,提出了一个创新的开放世界人脸伪造分析任务及相应基准。通过建立一个包含真实与伪造面孔图像及其描述的数据集,并引入基于多模态大语言模型及多答案智能决策系统的FFAA助手,该方法显著提高了分析的准确性和可解释性,对人脸伪造检测具有重要意义。
Aug, 2024
本研究解决了开放集人脸伪造检测中的安全威胁与现有检测模型的局限,尤其是无法跨未知伪造领域泛化和适应新数据的问题。通过提出一种新的伪造风格混合方案,增强了模型在未见领域的泛化能力,同时开发了一种基于轻量级视觉变换器的检测模型,实现了参数高效的训练策略,显著减少了可训练参数,并获得了最先进的泛化性能。
Aug, 2024
本研究针对深伪检测中的现有方法局限性,提出了一种基于语义的多任务学习方法,通过联合嵌入技术探索人脸语义关系。研究发现,该方法通过自动扩展数据集和动态平衡损失权重,使深伪检测的泛化能力显著提高,并能够提供易于理解的模型解释。
Aug, 2024
本研究解决了现有的人脸伪造检测方法对精细噪声和文本等其他模态的忽视,从而提升了模型的泛化能力。我们提出了一种新颖的多模态精细CLIP(MFCLIP)模型,通过语言引导的伪造表示学习,提取综合且精细的伪造特征,实现对扩散合成伪造的有效检测。实验结果表明,该模型在跨生成器、跨伪造和跨数据集评估中均优于现有最先进的方法。
Sep, 2024