Aug, 2024

基于即插即用的深度伪造视频检测的推广：视频级混合与时空适配器调优

HTML
PDF
TL;DR本文解决了深度伪造视频检测中的三个主要挑战，包括如何识别通用的时间伪影、平衡学习时空特征以及提高效率而不牺牲准确性。研究提出了视频级混合数据作为新的方法，并设计了轻量级的时空适配器，以有效地捕捉空间和时间特征。实验证明该方法能有效推广到未见过的伪造视频，并释放了相关代码与预训练权重。
发现论文，激发创造
  • 基于时空特征的深度伪造视频普适检测

    通过使用3D CNN建立时空特征提取模型，我们提出了一种新的深度伪造视频检测方法，相比于现有方法能更准确地进行分类，并且经过测试表现出更强的通用能力。

    Oct, 2020

  • 深度伪造视频检测中的时空不一致性学习

    本研究提出了一个基于Spatial-Temporal Inconsistency Learning (STIL)的新型STIL块，用于改进DeepFake视频检测方法，实现更加全面和有效的空间 - 时间表示。通过将STIL块灵活地插入到现有的2D CNN中，本文通过广泛的实验和可视化结果证明其优于现有的技术方法。

    Sep, 2021

  • 使用时空Dropout Transformer进行Deepfake视频检测

    本文提出了一种基于空时dropout的深度学习算法用于视频检测，利用视觉变换器从视频中抽取局部区域的空时信息，配合空时dropout操作以提高模型的鲁棒性和泛化性。实验证明，该算法有效地解决了当前深度伪造视频的检测挑战。

    Jul, 2022

  • 矩阵故障！基于内容驱动的音视频伪造检测与定位的大规模基准测试

    本文提出了一种用于检测Deepfake的方法，它通过提出包含多种模式的策略内容驱动音频、视觉和音视频混合进行识别。并通过定量分析证明了BA-TFD+算法再Deepfake检测方面的优越性。

    May, 2023

  • 深层伪造潜入：检测视频中的伪造片段

    本文提出了一种新型深度伪造检测方法，利用Vision Transformer、Scaling and Shifting pretraining以及Timeseries Transformer 分割视频，实现对视频帧的完整性检测，此方法能够高效地检测现有的深度伪造技术。

    May, 2023

  • DeepFake-Adapter: 深度伪造检测的双层适配器

    本文提出了第一种参数高效调节 deepfake 检测模型的方法 DeepFake-Adapter，该方法采用适配器模块从大型预训练 Vision Transformers 中提取高级语义，以有效且高效地帮助 deepfake 检测。通过在 MLP 层旁插入具有全局感知的 Englobed Adapters 和跨越 ViT 特征的局部感知的空间 Adapter，该方法可以将先前训练好的 Vision Transformers 的高级语义与本地和全局低级别伪造的 deepfake 数据的降噪信息相结合，从而提高 deepfake 的准确度和泛化能力。

    Jun, 2023

  • 揭示Deepfakes：蒙面自编码时空转换器用于加强视频伪造检测

    提出了一种新颖的方法来检测深度伪造视频，使用一对通过自监督屏蔽自编码设置预训练的视觉转换器。

    Jun, 2023

  • 更通用的视频人脸伪造检测的AltFreezing技术

    本文提出了一种用于人脸伪造检测的深度学习模型，能够同时检测空域和时域伪像，在训练过程中分别学习这两种伪像的特征，结合了多个视频层级数据增强方法，可提高模型泛化性能，并在未见过的操作和数据集上显著优于现有方法。

    Jul, 2023

  • 提高视频深度伪造检测：一种基于DCT的补丁级分析方法

    通过从离散余弦变换(DCT)中提取Beta分量并将其用作标准分类器的输入，从而快速识别合成内容并确定视频的性质，该方法在福全学的角度上具有又快又可解释性，不需要太多计算力。

    Oct, 2023

  • 揭示可普遍适用的深伪冒检测中的常见不一致性

    我们提出了一种基于帧不一致性的检测方法，通过捕捉真假视频之间普遍存在的不一致性来区分跨多个领域的真实和伪造视频的时域一致性，实验证明了我们方法在未见过的Deepfake领域具有泛化能力。

    Nov, 2023