CVPRMar, 2022

使用身份一致性 Transformer 保护名人免受 DeepFake 攻击

PDF
TL;DR本文提出了 “Identity Consistency Transformer”，这是一种新颖的人脸伪造检测方法，专注于高级语义，特别是身份信息，并通过在内部和外部面部区域发现身份不一致来检测可疑面部，在身份一致性确定中包含一致性损失。该系统不仅在不同数据集之间具有优越的泛化能力，而且在真实世界应用程序中发现的各种类型的图像降解形式（包括 Deepfake 视频）之间也具有优越的泛化能力。当可用时，可通过添加附加的身份信息轻松增强 “Identity Consistency Transformer”，因此它特别适用于检测涉及名人的面部伪造。
face forgery detectionidentity consistency transformeridentity informationconsistency lossdeepfake videos
发现论文，激发创造
  • 揭示可普遍适用的深伪冒检测中的常见不一致性

    我们提出了一种基于帧不一致性的检测方法，通过捕捉真假视频之间普遍存在的不一致性来区分跨多个领域的真实和伪造视频的时域一致性，实验证明了我们方法在未见过的 Deepfake 领域具有泛化能力。

    Nov, 2023

  • 基于身份识别的深度伪造检测

    本文提出了一种基于身份识别的 DeepFake 检测方法，该方法不尝试检测图像伪造，而是侧重于确定图像 / 视频中的身份信息是否正确。为了促进基于身份识别的检测研究，作者还提出了一个名为 “Vox-DeepFake” 的大规模数据集和一个简单身份检测算法 “OuterFace”。

    Dec, 2020

  • 基于视频 Transformer 的 Deepfake 检测与增量学习

    本文提出了一种基于增量学习的新型视频转换器，通过使用三维脸部重建方法来生成来自单个输入脸部图像的 UV 纹理，提取图像特征，并在较少的数据上精调该模型以实现更好的深度欺骗检测表现。

    Aug, 2021

  • 基于自一致性的深度伪造检测学习

    本文提出了一种使用源特征不一致性来检测 deepfake 图像的新方法，基于示例表明我们的方法相较于现有技术平均 AUC 提升从 96.45％至 98.05％，在跨数据集评估中提升从 86.03％至 92.18％。

    Dec, 2020

  • 卷积视觉转换器用于深度伪造视频检测

    本文提出了一种使用卷积视觉 Transformer 及卷积神经网络架构用于检测 Deepfakes 的方法，并在 DeepFake Detection Challenge Dataset 上进行了实验，取得了 91.5％的准确度、0.91 的 AUC 值和 0.32 的损失值。

    Feb, 2021

  • ConsistentID: 多模态细粒度身份保持的人像生成

    ConsistentID 是一种创新方法，用于在细粒度多模式面部提示下生成多样性身份保留肖像，利用仅一个参考图像，通过组合面部特征、相应的面部描述和整体面部上下文来提高面部细节的精度，并通过面部注意力定位策略来优化身份保留网络，旨在保持面部区域的身份一致性。

    Apr, 2024

  • 基于模态内和跨模态一致性的无监督多模态深度伪造检测

    我们介绍了一种新的无监督方法，通过测量多模态特征（特别是视觉、音频和身份特征）之间的内部和跨模态一致性来检测深度伪造视频，通过广泛的实验验证了我们的方法，在深度伪造视频中存在显著的内部和跨模态不一致性，可以高精度地检测出它们，并能够通过人工专家核实检测结果。

    Nov, 2023

  • 使用生成卷积视觉转换器进行 Deepfake 视频检测

    本文提出了一个名为 “GenConViT” 的模型，该模型结合了 ConvNeXt 和 Swin Transformer 模型进行特征提取，并利用自编码器和变分自编码器从潜在数据分布中进行学习，从而在检测各种深度伪造视频方面取得了较好的性能。GenConViT 模型的平均准确度为 95.8％，测试数据集上的 AUC 值为 99.3％，能够有效地解决深度伪造检测中的泛化性挑战。

    Jul, 2023

  • StableIdentity：首次见面即可将任何人引入任何地方

    在这项工作中，我们提出了 StableIdentity，它允许只通过一张面部图像实现一致性身份重构，并且可以在各种情境中灵活注入所学到的身份，从而实现前所未有的图像、视频和 3D 定制生成模型。

    Jan, 2024

  • 基于视觉 Transformer 的无监督一致性检测的人脸伪造方法 (UIA-ViT)

    本文提出了一种基于视觉 Transformer 的无监督非一致性感知方法 (UIA-ViT)，该方法可在没有像素级别注释的情况下仅利用视频级别标签，并使用一致性关系进行特征学习以提高人脸伪造检测性能。

    Oct, 2022