ICCVJul, 2023

TALL：深度伪造视频检测的缩略图布局

PDF
TL;DR本文介绍了一种名为缩略图布局（TALL）的简单而有效的策略，通过将视频剪辑转换为预定义的布局，实现了时空依赖关系的保留，并将该策略与 Swin Transformer 相结合，形成了高效且有效的方法 TALL-Swin，实验表明，TALL-Swin 在跨数据集任务 FaceForensics++ 到 Celeb-DF 上达到了 90.79% 的 AUC 分数。
deepfake video detectionthumbnail layoutspatial and temporal dependenciesswin transformerauc score
发现论文，激发创造
  • 基于缩略图布局和图推理的通用深伪视频检测

    这篇研究论文介绍了一个简洁而有效的策略 TALL，通过将视频剪辑转化为预定义的布局以实现空间和时间依赖的保留。通过引入图推理块（GRB）和语义一致性（SC）损失来加强 TALL，并取得了优于或与最先进方法相媲美的结果，在各种深度伪造检测问题上展示了我们方法的有效性。

    Mar, 2024

  • TALLFormer：基于长期记忆 Transformer 的时间动作定位

    提出 TALLFormer, 一种内存高效、可训练的时间动作定位 Transformer 方法，其长期记忆机制消除了在每个训练迭代中处理数百个冗余视频帧的需要，从而显著降低了 GPU 内存消耗和训练时间。

    Apr, 2022

  • 使用时空 Dropout Transformer 进行 Deepfake 视频检测

    本文提出了一种基于空时 dropout 的深度学习算法用于视频检测，利用视觉变换器从视频中抽取局部区域的空时信息，配合空时 dropout 操作以提高模型的鲁棒性和泛化性。实验证明，该算法有效地解决了当前深度伪造视频的检测挑战。

    Jul, 2022

  • 关于视觉变换器用于深假检测的及时调查

    近年来，深度伪造技术的快速发展在降低伪造成本和提高质量的同时引发了关于侵犯个人权利、国家安全威胁和公共安全风险等紧迫问题。本文综述了基于 Vision Transformer（ViT）的深度伪造检测模型，并将其分为独立的、顺序的和并行的架构。此外，它简明扼要地描绘了每个模型的结构和特点，通过分析现有研究和探讨未来发展方向，旨在为研究人员提供对 ViT 在深度伪造检测中关键作用的细致理解，为学术和实践领域提供有价值的参考。

    May, 2024

  • LTC-SUM：轻量级客户驱动的个性化视频摘要框架（基于 2D CNN）

    提出了一种基于缩略图容器的轻量级视频摘要 (LTC-SUM) 框架，使用终端用户设备的计算资源为并发用户生成个性化关键帧摘要。通过在缩略图中设计轻量级 2D CNN 模型仅提取特定的视频片段，实现了普适性和隐私保护，提高了通信和存储效率，相比同等终端设备，改进后的 LTC-SUM 方法在视频摘要任务上经验证是更加高效的。

    Jan, 2022

  • 卷积视觉转换器用于深度伪造视频检测

    本文提出了一种使用卷积视觉 Transformer 及卷积神经网络架构用于检测 Deepfakes 的方法，并在 DeepFake Detection Challenge Dataset 上进行了实验，取得了 91.5％的准确度、0.91 的 AUC 值和 0.32 的损失值。

    Feb, 2021

  • 基于嵌入向量的高效临时深度伪造位置方法用于部分欺诈音频检测

    提出了一种名为时序深度伪造定位 (Temporal Deepfake Location，TDL) 的细粒度部分伪造音频检测方法，采用了嵌入相似度模块和时序卷积操作，能够更准确地定位音频的真实性，并在 ASVspoof2019 部分伪造数据集中表现出优异性能。

    Sep, 2023

  • 深层伪造潜入：检测视频中的伪造片段

    本文提出了一种新型深度伪造检测方法，利用 Vision Transformer、Scaling and Shifting pretraining 以及 Timeseries Transformer 分割视频，实现对视频帧的完整性检测，此方法能够高效地检测现有的深度伪造技术。

    May, 2023

  • 度量学习检测 Deepfakes

    本研究采用深度量化网络的三元组结构，将视频的真实性进行分类，有效提高了真伪判断的准确性。并取得了 Celeb-DF 数据集上 99.2% 的最优 AUC score 和高度压缩的神经纹理数据集上 90.71% 的准确率。

    Mar, 2020

  • TALL: 通过语言查询进行时间活动定位

    本文提出了一种使用自然语言查询来进行时间活动定位的方法，使用融合文本和视频特征的方法实现跨模态匹配，并采用后期处理技术进行结果的精确定位，实验结果验证了该方法的有效性。

    May, 2017