ECCVJul, 2022

检测和修复顺序 DeepFake 操纵

PDF
TL;DR文章重点提出了一个名为 Seq-DeepFake 的新颖研究问题，即在检测 deepfake 媒体和恢复原始面孔之后，需要检测一系列面部操作。通过构建第一个 Seq-DeepFake 数据集，并将其作为一种特定的图像到序列任务，提出了一个简洁有效的 Seq-DeepFake Transformer 模型，并建立了全面的评估方法。实验证明了该模型的有效性。
deepfakefacial manipulationseq-deepfakedatasetimage-to-sequence
发现论文，激发创造
  • 鲁棒顺序 DeepFake 检测

    鉴于当前人脸操作技术能够轻松生成逼真的假脸，其潜在的恶意滥用引起了广泛关注。然而，现有方法只专注于检测单步人脸操作。随着易于获取的人脸编辑应用的出现，人们能够通过多步操作来轻松修改面部组件。这一新威胁要求我们检测人脸操纵的连续序列，这对于检测深度伪造媒体和恢复原始面孔至关重要。因此，我们提出了一个新的研究问题，称为检测顺序深度伪造操纵 (Seq-DeepFake)。与现有的仅要求二元标签预测的深度伪造检测任务不同，检测 Seq-DeepFake 操纵需要正确预测一系列面部操作的顺序向量。为了支持大规模调查，我们构建了第一个 Seq-DeepFake 数据集，其中面部图像被顺序操纵，并具有相应的顺序面部操作向量注释。基于这个新数据集，我们将检测 Seq-DeepFake 操纵转化为一项特定的图像到序列的任务，并提出了简洁而有效的 Seq-DeepFake Transformer (SeqFakeFormer)。为了更好地反映真实世界的深度伪造数据分布，我们在原始 Seq-DeepFake 数据集上进一步应用了各种扰动，构建了更具挑战性的带有扰动的顺序深度伪造数据集 (Seq-DeepFake-P)。为了在面对 Seq-DeepFake-P 时更深入地挖掘图像和序列之间的相关性，我们设计了一种专用的 Seq-DeepFake Transformer with Image-Sequence Reasoning (SeqFakeFormer++)，它为更强大的 Seq-DeepFake 检测建立了图像 - 序列对之间更强的对应关系。

    Sep, 2023

  • MMNet：多协作和多监督网络用于顺序深度伪造检测

    提出了一种名为 Multi-Collaboration and Multi-Supervision Network (MMNet) 的方法，用于处理伪造的人脸图像中的各种空间尺度和顺序排列，并在不需要相关操作方法知识的情况下实现恢复，同时提出了一种名为 Complete Sequence Matching (CSM) 的新的评估指标，反映了在多个推断步骤中检测完整伪造序列的能力。在多个典型数据集上的广泛实验表明，MMNet 在检测性能和独立恢复性能方面达到了最先进的水平。

    Jul, 2023

  • 面纹感知与形状引导的顺序 DeepFake 检测 Transformer

    这篇论文介绍了一种新颖的纹理感知和形状引导的 Transformer 模型，用于增强顺序 DeepFake 检测性能，包括纹理感知分支、双向交互交叉关注模块、形状引导高斯映射策略，并且通过将预测顺序由前向后反转来提高性能。实验证明该方法在性能上明显优于其他方法。

    Apr, 2024

  • 面部篡改的深度检测

    本文提出了一种基于深度学习的人脸操作检测方法，包括特征提取和二进制分类两个阶段，并采用三元组损失函数来更好地区分真实面孔和伪造面孔，实验结果表明该方法的性能大多数情况下优于现有技术。

    Sep, 2020

  • FaceForensics++: 检测篡改的面部图像学习

    本文对当前合成图像生成和处理技术的发展进行了探讨，并提出了一个基于 DeepFakes，Face2Face，FaceSwap 和 NeuralTextures 的面部操作检测基准，包括超过 180 万个操纵图像的数据库，并通过数据驱动型假冒检测器的详尽分析证明了使用额外领域特定知识的方法能够显著提高假冒检测的准确性。

    Jan, 2019

  • 基于 CNN 集合的视频人脸篡改检测

    本文提出了一种使用 ensembles 方法来判断现代面部操作技术的视频序列的面部操作检测的解决方案，该方案使用了基于卷积神经网络的不同模型，并结合了 EfficientNetB4、注意力层和连体训练等不同概念，针对以上两个概念结合的模型，本文在两个公开数据集上测试得出了令人期待的结果。

    Apr, 2020

  • DeepFakes 和更多：人脸处理和假图检测综述

    本文综述了利用大规模公共数据库及深度学习技术（尤其是生成对抗网络）生成逼真虚假内容的技术及其在虚假新闻时代的社会影响，包括 DeepFake、面部属性操作和面部表情交换等四种类型的面部操纵技术，以及检测这些操纵方法的关键技术。同时，我们详细介绍了每种操纵类型的技术、公共数据库和关键指标，并着重介绍了最新一代的 DeepFakes 在虚假检测方面的改进和挑战。除了综述信息外，我们也讨论了该领域的未解决问题和未来趋势。

    Jan, 2020

  • 基于面部区域位移轨迹序列的人脸伪造检测

    利用基于深度学习的技术来鉴别伪造的面部操作视频，特别是针对基于强制仿射变换的面部偏移位移轨迹进行提取和多维度的神经病网络构建，其中虚拟锚点和时空图注意力和门控循环单元成功检测出现多重伪造训练数据集中的假视频，该方法表现出了竞争力。

    Dec, 2022

  • 关于数字人脸篡改的检测

    利用注意机制改善学习到的特征图，提高二分类（真实脸或伪造脸）的准确性和可视化处理后的伪造部位，通过大规模数据库的实验，证明了注意机制在人脸伪造检测和定位的有效性。

    Oct, 2019

  • 探究集成方法用于检测深度伪造人脸操纵

    本文讲述了人工智能 (AI) 技术支持的合成媒体 - 深度伪造技术 (deepfakes)，由此带来了令人兴奋的新应用，但也产生了对我们越来越数字化的世界的严重威胁。为了缓解这些威胁，研究人员尝试提出新的深度学习技术来检测 deepfakes，同时比较了多种模型模型的判别能力。他们的结果印证了集成模型在应对不同操作类别时的准确性，但是它的推广需要众多的训练数据作为支撑。

    Apr, 2023