Nov, 2023

基于模态内和跨模态一致性的无监督多模态深度伪造检测

PDF
TL;DR我们介绍了一种新的无监督方法，通过测量多模态特征（特别是视觉、音频和身份特征）之间的内部和跨模态一致性来检测深度伪造视频，通过广泛的实验验证了我们的方法，在深度伪造视频中存在显著的内部和跨模态不一致性，可以高精度地检测出它们，并能够通过人工专家核实检测结果。
deepfake videosdetectingunsupervised approachintra- and cross-modal consistencydetectable inconsistencies
发现论文，激发创造
  • 整合视听特征用于多模态深度伪造检测

    深度伪造是通过人工智能生成的媒体，其中图像或视频经过数字修改。本研究提出了一种基于音视频的深度伪造检测方法，将细粒度的深度伪造识别与二元分类结合，增强了在域内和跨域测试下的检测能力。

    Oct, 2023

  • 使用单模态与多模态检测器评估音视频多模态深度伪造数据集

    该篇研究通过使用最新的深度伪造音频和视频数据集（FakeAVCeleb）进行了详细的基准实验，得出结论：单模态深度伪造检测方法仅仅能够适应单个媒体类型，仅使用视频或音频来检测不够理想，最佳的检测方法是集成式检测方法。

    Sep, 2021

  • 揭示可普遍适用的深伪冒检测中的常见不一致性

    我们提出了一种基于帧不一致性的检测方法，通过捕捉真假视频之间普遍存在的不一致性来区分跨多个领域的真实和伪造视频的时域一致性，实验证明了我们方法在未见过的 Deepfake 领域具有泛化能力。

    Nov, 2023

  • MIS-AVioDD: 音频 - 视觉深度伪造检测的模态不变和特定表示

    本文研究针对深度伪造技术的威胁，提出了一种在表征层面上辅助音频和视觉融合的多模态深度伪造检测方法，通过使用模态不变和特定的表 征确保保留表示真实或伪造内容的共同模式和每个模态的特定模式，实验证明该方法相比于单模态和多模态音 视频深度伪造检测的最先进方法能够提高 17.8% 和 18.4% 的准确性。

    Oct, 2023

  • 泛化的跨模态深部伪造检测的显式相关性学习

    通过建模内在跨模态相关性的相关学习任务，并引入跨模态深伪造数据集，我们提出了一种可以增强不同生成场景的深伪造检测方法，实验证明其在不同类型的深伪造数据集上表现优于现有方法。

    Apr, 2024

  • 社交媒体新闻帖子中的多模态语义不一致检测

    本研究提出了一种用于识别社交媒体新闻帖子中视频外观和文本标题之间语义不一致的分类架构，通过使用基于文本分析、自动音频转录、语义视频分析、对象检测、命名实体一致性和面部验证的多模态融合框架来发现社交媒体帖子中的视频和标题之间的不匹配。通过训练和测试基于 4,000 个 Facebook 新闻帖子的新视频数据集，我们的多模态方法在随机标题和外观不匹配的情况下实现了 60.5％的分类准确性，而单模分别准确率不到 50％。进一步的消融研究证实了跨模态融合对于正确识别语义不一致性的必要性。

    May, 2021

  • 由单模态向多模态人脸 Deepfake 检测的发展：一项调查

    通过对深度伪造检测方法的综述研究，本论文提供了面向人脸为中心的深度伪造技术的分类、检测方法的演化以及适应新的生成模型的挑战，并探索了提高深度伪造检测器的可靠性和稳健性的方向。

    Jun, 2024

  • DF-TransFusion: 通过唇音交叉注意力和脸部自注意力进行多模态深度伪造检测

    通过一个新颖的多模态音视频框架，结合音频和视频输入进行深度伪造检测，我们的模型利用交叉注意机制通过嘴唇同步输入音频，并通过经过微调的 VGG-16 网络提取视觉线索，随后利用 Transformer 编码器网络执行面部自注意力。我们进行了多个消融研究，突出了我们方法的不同优点。我们的多模态方法在 F-1 分数和每个视频 AUC 分数方面优于最先进的多模态深度伪造检测技术。

    Sep, 2023

  • 一种基于多流融合和单类学习的音视频深伪造检测方法

    该研究针对深度伪造音视频的检测模型的挑战，提出了一种具有多模态融合和一类学习表示级正则化技术的方法，以解决方法的泛化问题和确保模型的可解释性。实验证明该方法对未见攻击的检测平均改进了 7.31%，同时提供了模型对伪造模态的识别结果。

    Jun, 2024

  • 音视频不协调基于深度伪造检测与定位

    本文提出了一种基于模态不和谐度量（Modality Dissonance Score，MDS）的深度伪造视频检测算法，通过计算视频中音频和视觉段之间的差异得出 MDS，同时采用交叉熵和对比损失进行学习，并在 DFDC 和 DeepFake-TIMIT 数据集上的实验表明，该方法表现优于现有技术，还可以进行时间伪造定位，准确识别伪造视频段。

    May, 2020