CVPRMar, 2024

利用样式潜流进行深度假像检测视频检测的泛化

PDF
TL;DR基于分析样式潜向量的异常行为在生成视频的时间变化中，本文提出了一种检测伪造视频的新方法。通过使用 StyleGRU 模块和样式注意模块，结合动态属性的样式潜向量，实现了对视觉和时间伪迹的检测，并在深度伪造检测中展示了其优越性，尤其在跨数据集和跨篡改场景中。此外，进一步分析验证了利用时间变化的样式潜向量来提高深度伪造视频检测的普适性的重要性。
fake videosdetectionstyle latent vectorstemporal changesdeepfake detection
发现论文，激发创造
  • MoStGAN-V: 带有时间运动风格的视频生成

    通过引入一种 MoStAtt 机制，该研究提出了一种基于运动风格的视频生成模型，以增强帧的生动动态效果，并在四个条件下进行了使用大量跨帧的 256 × 256 合成视频，表现出了最先进的性能。

    Apr, 2023

  • 使用时空 Dropout Transformer 进行 Deepfake 视频检测

    本文提出了一种基于空时 dropout 的深度学习算法用于视频检测，利用视觉变换器从视频中抽取局部区域的空时信息，配合空时 dropout 操作以提高模型的鲁棒性和泛化性。实验证明，该算法有效地解决了当前深度伪造视频的检测挑战。

    Jul, 2022

  • 基于光流特征的混合卷积神经网络 - 长短期记忆网络在视频深度伪造检测中的应用

    本文主要研究深度伪造影像技术中因时域信息缺失导致传统方法检测失误的问题，并基于光流特征提取、CNN 和 RNN 混合模型开展研究，实现对 DFDC、FF++ 和 Celeb-DF 等开源数据集中深度伪造影像的有效检测，样本数量不足 100 帧时在 DFDC、FF++、Celeb-DF 数据集上的精度为 66.26%、91.21% 和 79.49%，有望实现对深度伪造内容的早期检测。

    Jul, 2022

  • 基于时空特征的深度伪造视频普适检测

    通过使用 3D CNN 建立时空特征提取模型，我们提出了一种新的深度伪造视频检测方法，相比于现有方法能更准确地进行分类，并且经过测试表现出更强的通用能力。

    Oct, 2020

  • 面部图像和视频的解缩聚变换器

    本研究提出通过 StyleGAN 生成器的潜在空间编辑面部属性，通过训练专门的潜在空间转换网络并在损失函数中添加显式的分离和身份保存项来控制和保护身份，并介绍了一个将面部编辑推广到视频的流程。在真实图像和视频方面表现出出色的性能。

    Jun, 2021

  • 通过精确几何特征提高 Deepfakes 检测的效率与健壮性

    LRNet 是一种有效且鲁棒的检测 Deepfakes 视频的框架，通过对精确几何特征的时间建模来挖掘深度伪造视频的时间特征，并对其进行有效利用，相较于以往的方法更轻量级且更易于训练，在高度压缩或噪声受损的情况下依然具有鲁棒性。

    Apr, 2021

  • 基于 H.264 运动矢量的高效时序感知 DeepFake 检测

    利用 H.264 视频编解码器中的运动矢量和信息掩码来检测 DeepFakes 中的时间不一致性，该方法在有效性和计算成本方面表现出色，可用于视频通话和流媒体的实时时间感知 DeepFake 检测方法。

    Nov, 2023

  • 潜空间中的生成人体动作风格化

    人体动作风格化的生成模型基于预训练自动编码器的潜在空间进行动作提取和融合，实现了多样化的风格化结果，具有轻量级设计却在风格再现、内容保留和广泛应用方面优于现有技术的特点。

    Jan, 2024

  • 基于 3D 时空轨迹的深度伪造视频压缩检测

    该研究提出了一种基于 3D 时空轨迹的深度伪造视频检测方法，该方法通过利用鲁棒的 3D 模型构建时空运动特征，整合来自 2D 和 3D 帧的特征细节，以减轻大头部旋转角度或不足的光照对帧内的影响。此外，该方法将面部表情与头部运动分离，并设计了基于相空间运动轨迹的顺序分析方法，以探索深度伪造视频中真实面部和伪造面部之间的特征差异。通过对几个压缩深度伪造基准进行广泛实验证明了我们所提出的方法的性能。计算视频压缩前后面部标志的一致分布验证了精心设计的特征的鲁棒性。我们的方法取得了令人满意的结果，展示了其在实际应用中的潜力。

    Apr, 2024

  • 基于面部特征引导适应的视频深度伪造检测的进一步普适化

    通过在 Foundation Models 中加入富信息，利用了 CLIP 的图像编码器和 Facial Component Guidance 以提高 Deepfake 检测的鲁棒性和泛化性能。在跨数据集的评估中，我们的方法在识别未见过的 Deepfake 样本方面表现出卓越的有效性，并取得了显著的性能提升。

    Apr, 2024