Sep, 2023

面部伪造检测的防伪感知自适应视觉 Transformer

PDF
TL;DR借助先进的人脸操作技术，本研究提出了一种新的适应性伪造感知 Transformer (FA-ViT) 来检测 Deepfakes，通过冻结预训练的 Transformer 参数并引入特定组件 (LFI 和 GFA) 来适应与伪造相关的知识，并利用单域成对学习 (SDPL) 以提高性能。实验证明，FA-ViT 在跨数据集评估和跨操作情景中具有最先进的性能，提高了对未知扰动的鲁棒性。
face forgery detectionvision transformerforgery-aware adaptive vision transformerdeepfakescross-dataset evaluation
发现论文，激发创造
  • 自适应 Transformers 用于稳健的少样本跨域人脸防伪

    本文提出一种自适应视觉变换器 (ViT) 方法，利用集成适配器模块和特征转换层适应不同域的数据，从而实现跨域活体检测，并在多个基准数据集上取得了与现有方法相媲美的性能.

    Mar, 2022

  • DeepFake-Adapter: 深度伪造检测的双层适配器

    本文提出了第一种参数高效调节 deepfake 检测模型的方法 DeepFake-Adapter，该方法采用适配器模块从大型预训练 Vision Transformers 中提取高级语义，以有效且高效地帮助 deepfake 检测。通过在 MLP 层旁插入具有全局感知的 Englobed Adapters 和跨越 ViT 特征的局部感知的空间 Adapter，该方法可以将先前训练好的 Vision Transformers 的高级语义与本地和全局低级别伪造的 deepfake 数据的降噪信息相结合，从而提高 deepfake 的准确度和泛化能力。

    Jun, 2023

  • 适应性仿真图像检测的防伪能力自适应变压器

    本文研究的问题是可广泛适用的合成图像检测，旨在检测来自各种生成方法，例如 GAN 和扩散模型的伪造图像。研究发现，传统的固定模式不利于学习伪造表示，因此提出了一种新颖的伪造感知自适应变压器方法，即 FatFormer。经过实验验证，FatFormer 在未见过的 GAN 和扩散模型上表现出色，检测性能平均达到 98% 和 95% 的准确率。

    Dec, 2023

  • 关于视觉变换器用于深假检测的及时调查

    近年来，深度伪造技术的快速发展在降低伪造成本和提高质量的同时引发了关于侵犯个人权利、国家安全威胁和公共安全风险等紧迫问题。本文综述了基于 Vision Transformer（ViT）的深度伪造检测模型，并将其分为独立的、顺序的和并行的架构。此外，它简明扼要地描绘了每个模型的结构和特点，通过分析现有研究和探讨未来发展方向，旨在为研究人员提供对 ViT 在深度伪造检测中关键作用的细致理解，为学术和实践领域提供有价值的参考。

    May, 2024

  • MoE-FFD: 面向广义和参数高效的人脸伪造检测的专家混合

    该研究提出了一种基于变形器的面部伪造检测方法，利用变形器的表达能力和卷积神经网络的本地先验，同时提取全局和局部的伪造线索，从而实现了一种参数高效的训练方案。在实验证明该方法具有减少参数开销且达到了最先进的面部伪造检测性能。

    Apr, 2024

  • 卷积视觉转换器用于深度伪造视频检测

    本文提出了一种使用卷积视觉 Transformer 及卷积神经网络架构用于检测 Deepfakes 的方法，并在 DeepFake Detection Challenge Dataset 上进行了实验，取得了 91.5％的准确度、0.91 的 AUC 值和 0.32 的损失值。

    Feb, 2021

  • 计算机视觉中的活体检测：基于 Transformer 的自监督学习用于人脸反欺骗

    本研究利用 Vision Transformer (ViT) 架构并结合 DINO 框架，对面部反欺诈任务进行了 Fine-tuning，与传统的 CNN 模型 EfficientNet b2 进行了性能比较。研究结果显示，ViT 模型在准确性和对不同欺诈方法的抵抗性方面优于 CNN 模型，进一步推动了生物识别安全领域的重要进展。

    Jun, 2024

  • FLIP: 跨领域人脸反欺骗技术与语言引导

    通过使用多模态预训练与自然语言语义对齐图像表示以改善面部反欺骗任务的泛化能力，进一步利用多模态对比学习策略弥合源域与目标域之间的差距，实现鲁棒的跨领域面部反欺骗。

    Sep, 2023

  • FM-ViT：面部反欺诈的灵活模态视觉变压器

    本文提出了一种基于 Transformer 的框架，名为 Flexible Modal Vision Transformer (FM-ViT)，用于面部防欺骗，以灵活地针对任何单模态攻击情景和可用的多模态数据。实验结果表明，单个基于 FM-ViT 的模型不仅可以灵活评估不同的模态样本，而且在较小的 FLOPs 和模型参数的情况下，也可以超越现有的单模态框架，并与多模态框架的性能相当。

    May, 2023

  • MA-ViT：面部防欺诈的模态不敏感视觉变换器

    本文提出了一种名为 Modality-Agnostic Vision Transformer (MA-ViT) 的单分支变压器框架和一个名为 Modality-Agnostic Transformer Block (MATB) 的模型，用于提高任意模态攻击的性能，并通过多模态数据来灵活测试任何给定的模态样本。

    Apr, 2023