MMAug, 2023

UMMAFormer：一种用于时间伪造定位的通用多模式自适应 Transformer 框架

PDF
TL;DR提出 UMMAFormer，一种新颖的通用 Transformer 框架，用于时序伪造定位，通过多模态适应预测伪造段，包括引入基于时序特征重建的时序特征异常关注模块（TFAA）以增强时序差异的检测，设计用于微妙特征增强的平行交叉关注特征金字塔网络（PCA-FPN），并构建适用于视频修复场景的新型时序视频修复定位（TVIL）数据集，实验结果表明我们的方法在众多基准数据集上取得了最优性能。
artificial intelligence-generated contentforgery content detectionummaformertemporal forgery localizationmultimodal adaptation
发现论文，激发创造
  • 统一的频率辅助变压器框架用于多模态操作的检测和定位

    通过引入离散小波变换在多个频率子带中捕捉丰富的人脸伪造特征，并结合图像和频率特征的互补视角，提出了一种统一的频率辅助转换器框架（UFAFormer）来解决多模态媒体篡改问题。实验证明，与之前的方法相比，我们的框架在 DGM^4 数据集上表现出优越性能，并在该领域树立了新的基准。

    Sep, 2023

  • UVL: 一个统一的视频篡改定位框架

    通过提取合成伪造物的共同特征，如合成边缘的边界伪影、生成像素的不自然分布以及伪造区域与原始区域之间的非相关性，我们提出了一种新颖的统一视频篡改定位框架 UVL，它在检测未知视频方面具有优异的表现，并且对于新的伪造方法非常高效。通过对三种合成伪造类型进行的广泛实验，包括视频修复、视频剪辑和 DeepFake，表明所提出的 UVL 在各种基准测试中取得了领先的性能，并在跨数据集上明显优于现有方法。

    Sep, 2023

  • 统一对比融合变压器用于多模态人类动作识别

    提出了一种新的多模态融合架构 UCFFormer，它能够整合具有不同分布的数据以增强人类动作识别 (HAR) 的性能；通过使用统一 Transformer 来捕捉嵌入特征在时间和模态领域之间的相互依赖关系，并引入了分解的时间 - 模态注意力来高效执行自注意力，在各种模态之间减少特征分布上的差异，从而生成在语义上对齐的特征进行信息融合；在 UTD-MHAD 和 NTU RGB+D 两个流行数据集上进行的性能评估表明，UCFFormer 通过显著的优势超越竞争方法，实现了最先进的性能。

    Sep, 2023

  • MixFormer: 迭代混合注意力的端到端跟踪

    使用 transformers 建立了一种稳健的跟踪框架 MixFormer，采用混合注意力模块（MAM）实现了特征提取和目标信息的同步建模，同时在 LaSOT、TrackingNet、VOT2020、GOT-10k 和 UAV123 等五个基准测试数据集上取得了最新的最高成功率和 EAO 评分。

    Mar, 2022

  • ActionFormer：使用 Transformers 定位行为片段

    ActionFormer 是一种基于 Transformer 网络的模型，采用了多尺度特征表示和本地自我注意力机制来识别视频中的动作。它在 THUMOS14 上取得了 71.0％ mAP，在 ActivityNet 1.3 和 EPIC-Kitchens 100 中也表现出色。

    Feb, 2022

  • 适应性仿真图像检测的防伪能力自适应变压器

    本文研究的问题是可广泛适用的合成图像检测，旨在检测来自各种生成方法，例如 GAN 和扩散模型的伪造图像。研究发现，传统的固定模式不利于学习伪造表示，因此提出了一种新颖的伪造感知自适应变压器方法，即 FatFormer。经过实验验证，FatFormer 在未见过的 GAN 和扩散模型上表现出色，检测性能平均达到 98% 和 95% 的准确率。

    Dec, 2023

  • UniFormer：用于高效时空表示学习的统一 Transformer

    本研究提出了一种新型的视频分类模型 ——UniFormer，它集成了 3D 卷积和自注意力机制的优点，通过浅层和深层分别学习本地和全局特征，从而在计算量和准确性之间取得了理想的平衡，经实验证明该模型的泛化和针对性能均优于其他方法。

    Jan, 2022

  • AV-Lip-Sync+: 利用 AV-HuBERT 揭示多模态不一致性的视频深度伪造检测

    基于多模态自我监督学习（SSL）特征提取器的多模态视频伪造检测方法，利用音频和视觉模态之间的不一致性来提取视觉和声学特征，并通过多尺度时间卷积神经网络捕捉音频和视觉模态之间的时序相关性，实验结果表明我们的模型在 FakeAVCeleb 和 DeepfakeTIMIT 数据集上表现出更好的性能。

    Nov, 2023

  • UMT: 统一多模态 Transformers 用于联合视频片段检索和亮点检测

    本研究提出了一个名为 UMT 的统一多模态转换器的框架，能够实现时刻检索和精华视频检测的联合优化，并且能够轻松地退化为解决单个问题。实验结果表明，该方法在各种设置下都具有有效性、优越性和灵活性。

    Mar, 2022

  • TALLFormer：基于长期记忆 Transformer 的时间动作定位

    提出 TALLFormer, 一种内存高效、可训练的时间动作定位 Transformer 方法，其长期记忆机制消除了在每个训练迭代中处理数百个冗余视频帧的需要，从而显著降低了 GPU 内存消耗和训练时间。

    Apr, 2022