Sep, 2023

自监督变形器与领域自适应重建用于一般人脸伪造视频检测

PDF
TL;DR通过自我监督学习的实现，该论文提出了一种自我监督变压器协同对比和重建学习 (CoReST) 方法，该方法首先仅在真实人脸视频上进行自我监督预训练，然后在特定的人脸伪造视频数据集上用线性头进行微调，通过引入对比和重建学习的辅助任务来增强表示学习，同时引入领域适应性重建模块来弥合不同伪造领域之间的差距，实验结果表明，该方法在公共数据集上的表现比现有的有监督竞争方法更好，并具有令人印象深刻的泛化性能。
face forgery videosdetectorsself-supervised transformercontrastive and reconstruction learningdomain adaptive reconstruction
发现论文，激发创造
  • 自监督图转换器用于深度伪造检测

    该研究介绍了一种深假检测框架，利用自监督预训练模型提供出色的泛化能力，能够应对常见的扭曲并解释模型的决策，实验证明该框架的有效性超过当前最先进方法。

    Jul, 2023

  • 通过自监督利用真实说话人脸实现鲁棒性防伪技术

    本研究提出了一种基于真实对话视频的假脸检测技术，通过跨模态自监督学习得到时序稠密视频表示，鼓励假脸检测器基于面部运动、表情和身份等因素做出真 / 假决策，并在交叉操作泛化和鲁棒性实验中取得了最先进的表现。

    Jan, 2022

  • ForensicTransfer：弱监督领域自适应用于伪造检测

    在图像伪造不断更新的现今，卷积神经网络和自编码结构的 Forensic-Transfer 方法可以提高图像伪造检测的可迁移性并显著提高性能。

    Dec, 2018

  • 通过自监督分离身份和姿势实现逼真的人脸复原

    本文提出了一种新型的自我监督混合模型（DAE-GAN），它结合了两个形变自编码器及条件生成的最新进展，用于学习如何在大量未标记视频的情况下自然地再现人脸，并且在 VoxCeleb1 和 RaFD 数据集上得到了优秀的实验结果，表明了重新表演图像的优异品质和在不同身份之间转移面部动作的灵活性。

    Mar, 2020

  • 揭示 Deepfakes：蒙面自编码时空转换器用于加强视频伪造检测

    提出了一种新颖的方法来检测深度伪造视频，使用一对通过自监督屏蔽自编码设置预训练的视觉转换器。

    Jun, 2023

  • 领域取证：通过双向适应揭示跨领域的人脸伪造

    通过无监督领域自适应的新解决方案，DomainForensics，从已知伪造品向新伪造品传递伪造知识，通过领域差异的对齐捕捉新伪造品的知识，既考虑前向适应也考虑后向适应，在前向适应中，通过有监督训练在已知伪造品中提升 DeepFake 检测器的能力，并通过对新伪造品进行对抗特征适应传递伪造识别能力，而在后向适应中，通过对抗适应和自我蒸馏提高知识传递效果，使检测器能够从未标记数据中揭示新伪造特征并避免遗忘已知伪造知识。

    Dec, 2023

  • 适应性仿真图像检测的防伪能力自适应变压器

    本文研究的问题是可广泛适用的合成图像检测，旨在检测来自各种生成方法，例如 GAN 和扩散模型的伪造图像。研究发现，传统的固定模式不利于学习伪造表示，因此提出了一种新颖的伪造感知自适应变压器方法，即 FatFormer。经过实验验证，FatFormer 在未见过的 GAN 和扩散模型上表现出色，检测性能平均达到 98% 和 95% 的准确率。

    Dec, 2023

  • TransForensics: 基于密集自注意力的图像篡改定位

    提出了一种基于 Transformers 的图像伪造定位方法 TransForensics，结合密集自注意力编码器和密集校正模块用于模拟全局上下文和不同尺度下的本地补丁之间的所有成对相互作用，该方法不仅可以捕捉有区分性的表示并获得高质量的蒙版预测，而且不受篡改类型和补丁序列顺序的限制，在主要基准测试中表现优于现有的现有方法。

    Aug, 2021

  • 基于视频 Transformer 的 Deepfake 检测与增量学习

    本文提出了一种基于增量学习的新型视频转换器，通过使用三维脸部重建方法来生成来自单个输入脸部图像的 UV 纹理，提取图像特征，并在较少的数据上精调该模型以实现更好的深度欺骗检测表现。

    Aug, 2021

  • DFIL：利用领域不变伪造线索进行 Deepfake 增量学习

    通过增量学习和领域不变表示，以及基于多角度知识蒸馏方法的特征级和标签级正则化，我们的研究提出了一种新型增强型 deepfake 检测模型，通过选择中心和困难样本来更新回放集，并取得了 7.01 的平均遗忘率和 85.49 的平均准确率。

    Sep, 2023