Aug, 2024

FFAA：基于多模态大语言模型的可解释开放世界人脸伪造分析助手

HTML
PDF
TL;DR本研究针对人脸伪造分析中，现有数据集缺乏对伪造技术和面部特征的详细描述的问题，提出了一个创新的开放世界人脸伪造分析任务及相应基准。通过建立一个包含真实与伪造面孔图像及其描述的数据集，并引入基于多模态大语言模型及多答案智能决策系统的FFAA助手，该方法显著提高了分析的准确性和可解释性，对人脸伪造检测具有重要意义。
发现论文，激发创造
  • 野外人脸鉴定

    通过构建大规模数据集FFIW-10K，该数据集包括了10000个高质量伪造视频，每个画面平均有三个人脸，再结合一个新算法，从而提升了人脸伪造检测的性能，该算法在FFIW-10K和现有基准测试上表现优秀。

    Mar, 2021

  • OpenForensics大规模人脸伪造检测与野外分割数据集

    本文针对社交媒体中伪造脸部的困扰，进行了综合研究，首次创建了一个大规模数据集 OpenForensics，并利用其丰富注释，评估了各种情景下的最新实例检测和分割方法的效果，以推动深度伪造的预防和人脸检测等方面的研究。

    Jul, 2021

  • 面向通用视觉语言人脸伪造检测

    通过引入细粒度提示和粗细联合训练框架，提出了一种名为视觉语言人脸伪造检测（VLFFD）的新范式，以解决针对深度伪造的检测模型缺乏语义信息和解释性的问题，并在多个具有挑战性的基准测试中证明了该方法对现有的检测模型有所改进。

    Jul, 2023

  • 对比多人脸鉴定：一种用于多人脸伪造检测的端到端双粒度对比学习方法

    本文提出了一种新的端到端的框架Contrastive Multi-FaceForensics (COMICS)，通过双粒度对比学习方法，在多脸伪造检测方面取得了显著的性能提升，并显示了与其他对手方法相比较大的潜力，适用于多种架构。

    Aug, 2023

  • GenFace：一个大规模细粒度人脸伪造基准和跨外观边缘学习

    我们提出了一个大规模、多样化且高保真度的数据集GenFace，用于推动深度伪造检测的发展，该数据集包含了由先进生成器生成的大量伪造人脸，如扩散模型，并提供了有关操作方法和采用生成器的更详细的标签。此外，我们设计了一种创新的跨外观边缘学习（CAEL）检测器，用于捕获多粒度的外观和边缘全局表示，并检测具有区分性和普遍的伪造痕迹。此外，我们设计了外观-边缘交叉注意力（AECA）模块，以探索两个域之间的各种整合。广泛的实验结果和可视化显示，我们的检测模型在跨生成器、跨伪造和跨数据集评估等不同设置下优于最先进的模型。

    Feb, 2024

  • SHIELD: 多模态大型语言模型的人脸冒充与伪造检测评估基准

    多模态大型语言模型在面部攻击检测、面部欺骗和伪造检测以及多属性思维链等方面表现出潜在的潜力和有效性，优于传统特定模型在可解释性、多模态灵活推理和联合面部欺骗和伪造检测方面

    Feb, 2024

  • 人脸伪造的语义上下文化：新的定义、数据集和检测方法

    通过定义改变语义脸部属性以超过人类辨别阈值的计算方法，构建一个大型脸部伪造图像数据集，并提出了一个以语义为导向的脸部伪造检测方法，展示了该数据集在揭示当前检测器的弱点以及提高其泛化能力方面的优越性。

    May, 2024

  • 开放集深伪检测：一种参数高效的适应方法与伪造风格混合

    本研究解决了开放集人脸伪造检测中的安全威胁与现有检测模型的局限，尤其是无法跨未知伪造领域泛化和适应新数据的问题。通过提出一种新的伪造风格混合方案，增强了模型在未见领域的泛化能力，同时开发了一种基于轻量级视觉变换器的检测模型，实现了参数高效的训练策略，显著减少了可训练参数，并获得了最先进的泛化性能。

    Aug, 2024

  • 精细骨干网络的面部伪造检测

    本研究针对面部伪造检测（FFD）面临的模型过拟合问题提出了解决方案，强调骨干网络在面部特征提取中的关键作用。通过利用自监督学习对真实面部数据集进行预训练，构建出一种能够提取多样伪造线索的竞争性骨干微调框架，显著提升了模型的识别性能和推理可靠性。

    Sep, 2024

  • 细粒度人脸伪造检测中的常识推理指南

    本研究解决了人脸伪造检测领域中可解释性不足的问题，通过将检测任务转化为视觉问答任务(VQA)，有效评估模型的推理能力。提出的多阶段方法不仅在二元任务中评估模型表现，还通过识别细粒度操控区域提升检测的准确性，最终提供了对多种模型的系统比较，推动了人脸伪造检测的研究进展。

    Oct, 2024