Sep, 2024

MFCLIP：用于可泛化扩散人脸伪造检测的多模态精细CLIP

HTML
PDF
TL;DR本研究解决了现有的人脸伪造检测方法对精细噪声和文本等其他模态的忽视，从而提升了模型的泛化能力。我们提出了一种新颖的多模态精细CLIP（MFCLIP）模型，通过语言引导的伪造表示学习，提取综合且精细的伪造特征，实现对扩散合成伪造的有效检测。实验结果表明，该模型在跨生成器、跨伪造和跨数据集评估中均优于现有最先进的方法。
发现论文，激发创造
  • 面向通用视觉语言人脸伪造检测

    通过引入细粒度提示和粗细联合训练框架，提出了一种名为视觉语言人脸伪造检测（VLFFD）的新范式，以解决针对深度伪造的检测模型缺乏语义信息和解释性的问题，并在多个具有挑战性的基准测试中证明了该方法对现有的检测模型有所改进。

    Jul, 2023

  • 对比多人脸鉴定：一种用于多人脸伪造检测的端到端双粒度对比学习方法

    本文提出了一种新的端到端的框架Contrastive Multi-FaceForensics (COMICS)，通过双粒度对比学习方法，在多脸伪造检测方面取得了显著的性能提升，并显示了与其他对手方法相比较大的潜力，适用于多种架构。

    Aug, 2023

  • 统一的频率辅助变压器框架用于多模态操作的检测和定位

    通过引入离散小波变换在多个频率子带中捕捉丰富的人脸伪造特征，并结合图像和频率特征的互补视角，提出了一种统一的频率辅助转换器框架（UFAFormer）来解决多模态媒体篡改问题。实验证明，与之前的方法相比，我们的框架在DGM^4数据集上表现出优越性能，并在该领域树立了新的基准。

    Sep, 2023

  • 适应性仿真图像检测的防伪能力自适应变压器

    本文研究的问题是可广泛适用的合成图像检测，旨在检测来自各种生成方法，例如GAN和扩散模型的伪造图像。研究发现，传统的固定模式不利于学习伪造表示，因此提出了一种新颖的伪造感知自适应变压器方法，即FatFormer。经过实验验证，FatFormer在未见过的GAN和扩散模型上表现出色，检测性能平均达到98%和95%的准确率。

    Dec, 2023

  • 扩散人脸伪造检测

    通过引入DiFF数据集，本文首次探索了面向脸部的扩散生成图像的领域，分析结果揭示了识别扩散生成的假脸面临的挑战，并提出了一种边缘图正则化方法来增强现有检测器的泛化能力。

    Jan, 2024

  • GenFace：一个大规模细粒度人脸伪造基准和跨外观边缘学习

    我们提出了一个大规模、多样化且高保真度的数据集GenFace，用于推动深度伪造检测的发展，该数据集包含了由先进生成器生成的大量伪造人脸，如扩散模型，并提供了有关操作方法和采用生成器的更详细的标签。此外，我们设计了一种创新的跨外观边缘学习（CAEL）检测器，用于捕获多粒度的外观和边缘全局表示，并检测具有区分性和普遍的伪造痕迹。此外，我们设计了外观-边缘交叉注意力（AECA）模块，以探索两个域之间的各种整合。广泛的实验结果和可视化显示，我们的检测模型在跨生成器、跨伪造和跨数据集评估等不同设置下优于最先进的模型。

    Feb, 2024

  • 人脸伪造的语义上下文化：新的定义、数据集和检测方法

    通过定义改变语义脸部属性以超过人类辨别阈值的计算方法，构建一个大型脸部伪造图像数据集，并提出了一个以语义为导向的脸部伪造检测方法，展示了该数据集在揭示当前检测器的弱点以及提高其泛化能力方面的优越性。

    May, 2024

  • GM-DF：广义多场景深假检测

    该文研究了多样本领域深度伪造检测模型的泛化能力，提出了一个广义多场景深伪检测框架，并通过领域对齐损失强制调整模型以表示多个数据集中的特定和共同的真实/伪造特征。在多源数据上进行的定性和定量实验表明了该方法的有效性。

    Jun, 2024

  • 开放集深伪检测：一种参数高效的适应方法与伪造风格混合

    本研究解决了开放集人脸伪造检测中的安全威胁与现有检测模型的局限，尤其是无法跨未知伪造领域泛化和适应新数据的问题。通过提出一种新的伪造风格混合方案，增强了模型在未见领域的泛化能力，同时开发了一种基于轻量级视觉变换器的检测模型，实现了参数高效的训练策略，显著减少了可训练参数，并获得了最先进的泛化性能。

    Aug, 2024

  • 细粒度人脸伪造检测中的常识推理指南

    本研究解决了人脸伪造检测领域中可解释性不足的问题，通过将检测任务转化为视觉问答任务(VQA)，有效评估模型的推理能力。提出的多阶段方法不仅在二元任务中评估模型表现，还通过识别细粒度操控区域提升检测的准确性，最终提供了对多种模型的系统比较，推动了人脸伪造检测的研究进展。

    Oct, 2024