Sep, 2023

统一的频率辅助变压器框架用于多模态操作的检测和定位

PDF
TL;DR通过引入离散小波变换在多个频率子带中捕捉丰富的人脸伪造特征，并结合图像和频率特征的互补视角，提出了一种统一的频率辅助转换器框架（UFAFormer）来解决多模态媒体篡改问题。实验证明，与之前的方法相比，我们的框架在 DGM^4 数据集上表现出优越性能，并在该领域树立了新的基准。
发现论文，激发创造
  • UMMAFormer：一种用于时间伪造定位的通用多模式自适应 Transformer 框架

    提出 UMMAFormer，一种新颖的通用 Transformer 框架，用于时序伪造定位，通过多模态适应预测伪造段，包括引入基于时序特征重建的时序特征异常关注模块（TFAA）以增强时序差异的检测，设计用于微妙特征增强的平行交叉关注特征金字塔网络（PCA-FPN），并构建适用于视频修复场景的新型时序视频修复定位（TVIL）数据集，实验结果表明我们的方法在众多基准数据集上取得了最优性能。

    Aug, 2023

  • 检测和定位多模态媒体篡改

    本文提出一种新的多模式媒体伪造问题，即检测和定位多模式媒体操纵（DGM^4），构建第一个数据集，并提出了一种新的 HierArchical 多模式操作推理变压器（HAMMER）方法来捕捉不同模态之间的细粒度交互以及在不同的深度上检测和定位操纵。

    Apr, 2023

  • 检测和定位多模态媒体操纵及其拓展

    多模态媒体篡改的检测和处理是一个新的研究问题，本文提出了 DGM^4 数据集和 HAMMER 模型，用于多模态媒体的真伪检测和篡改内容的处理。

    Sep, 2023

  • 利用模态特征进行多模态操作检测和链接

    我们构建了一个简单而新颖的基于 Transformer 的多模态操纵检测和定位任务框架，通过引入视觉 / 语言预训练的编码器和双支路交叉注意力来同时探索模态特定的特征，并提出了解耦的细粒度分类器和自适应地聚合全局上下文线索的隐式操纵查询，从而提高了揭示伪造细节的能力，实验证明我们提出的模型在 $ m DGM^4$ 数据集上表现优于现有方法。

    Sep, 2023

  • 探索基于频率对抗性攻击的人脸造假检测

    本文提出了一种基于离散余弦变换（DCT）的频率对抗攻击方法，以欺骗面部伪造检测器。通过引入融合模块来捕获对手在频率域中显着的区域，我们的方法比空间域中的现有对抗攻击更为难以察觉，并且不会降低原始图像的视觉质量。在实验中，我们发现该方法有效地欺骗了空间域和最先进的频率域检测器，并增强了面部伪造检测器之间的可靠性。

    Mar, 2022

  • 利用高频特征进行人脸伪造检测的泛化

    这篇论文提出了一种基于 CNN 的人脸伪造检测方法，利用高频噪声、多尺度特征提取、残差 - 引导空间注意力和跨模态注意力等功能模块提高了交叉数据集下的检测性能。

    Mar, 2021

  • 统一对比融合变压器用于多模态人类动作识别

    提出了一种新的多模态融合架构 UCFFormer，它能够整合具有不同分布的数据以增强人类动作识别 (HAR) 的性能；通过使用统一 Transformer 来捕捉嵌入特征在时间和模态领域之间的相互依赖关系，并引入了分解的时间 - 模态注意力来高效执行自注意力，在各种模态之间减少特征分布上的差异，从而生成在语义上对齐的特征进行信息融合；在 UTD-MHAD 和 NTU RGB+D 两个流行数据集上进行的性能评估表明，UCFFormer 通过显著的优势超越竞争方法，实现了最先进的性能。

    Sep, 2023

  • 适应性仿真图像检测的防伪能力自适应变压器

    本文研究的问题是可广泛适用的合成图像检测，旨在检测来自各种生成方法，例如 GAN 和扩散模型的伪造图像。研究发现，传统的固定模式不利于学习伪造表示，因此提出了一种新颖的伪造感知自适应变压器方法，即 FatFormer。经过实验验证，FatFormer 在未见过的 GAN 和扩散模型上表现出色，检测性能平均达到 98% 和 95% 的准确率。

    Dec, 2023

  • 频率感知深度假冒检测：通过频率空间学习改善泛化能力

    通过频域学习提高深伪造图像检测器的泛化性能，包括使用频率级别的伪造检测方法和一个特定设计的频域学习模块，实现了先进的性能 (+9.8%)，并且所需参数更少。

    Mar, 2024

  • 领域通用的未知攻击下的人脸反欺诈

    通过引入一种新方法 DGUA-FAS，该方法包括基于 Transformer 的特征提取器和合成未知攻击样本生成器（SUASG），我们针对领域通用的未知攻击解决方案，实验结果表明我们的方法在已知或未知攻击的领域泛化 FAS 方面取得了卓越的性能。

    Oct, 2023