深度伪造视频检测:一项比较分析
本文研究深度学习架构 (CNNs 和 Transformers) 的演进,设计和开发了深度伪造检测模型,并在深度伪造数据集上进行了实验,取得了较高的准确率和 AUC,并分析了不同深度伪造数据集之间的关系。
Apr, 2023
本研究探讨自监督预训练变换器相对于有监督预训练变换器和传统神经网络(ConvNets)在检测各种类型的深度伪造方面的有效性,重点关注其在数据有限的情况下改进泛化能力的潜力。通过使用适度的训练数据并实施部分微调,在利用自监督学习和变换器进行深度伪造检测时,我们观察到了与传统方法可比拟的适应性和通过注意机制实现的自然可解释性,且同时需要较少的计算资源。
May, 2024
在这篇论文中,我们质疑传统的观点,即在深度伪造检测中,经过监督训练的 ImageNet 模型具有强大的泛化能力并适用于作为特征提取器。我们提出了一种新的度量方法,称为 “模型可分离性”,用于以一种无监督的方式视觉与定量地评估模型分离数据的能力。我们还提出了一个系统化的基准,以确定深度伪造检测与其他计算机视觉任务之间的相关性,使用预训练模型。我们的分析表明,预训练的人脸识别模型与深度伪造检测更密切相关。此外,使用自监督方法训练的模型在分离性方面比使用监督方法训练的模型更有效。在一个小型深度伪造数据集上进行所有模型的微调后,我们发现自监督模型提供了最佳结果,但存在过拟合的风险。我们的结果提供了有价值的见解,应该有助于研究人员和从业人员开发更有效的深度伪造检测模型。
Oct, 2023
本文讲述了人工智能 (AI) 技术支持的合成媒体 - 深度伪造技术 (deepfakes),由此带来了令人兴奋的新应用,但也产生了对我们越来越数字化的世界的严重威胁。为了缓解这些威胁,研究人员尝试提出新的深度学习技术来检测 deepfakes,同时比较了多种模型模型的判别能力。他们的结果印证了集成模型在应对不同操作类别时的准确性,但是它的推广需要众多的训练数据作为支撑。
Apr, 2023
本研究利用 Vision Transformer (ViT) 架构并结合 DINO 框架,对面部反欺诈任务进行了 Fine-tuning,与传统的 CNN 模型 EfficientNet b2 进行了性能比较。研究结果显示,ViT 模型在准确性和对不同欺诈方法的抵抗性方面优于 CNN 模型,进一步推动了生物识别安全领域的重要进展。
Jun, 2024
本研究使用深度强化学习与卷积神经网络相结合,设计了一种新的深度伪造检测算法,通过统计每张测试图像的各种增强方法的分类分数来检测深度伪造的图片,实验证明该方法在跨数据集的泛化性能方面优于现有的模型,并获得最先进的性能。
Apr, 2022
本文主要研究内容为探索 CNN-based detectors 在进行基于不同训练策略和数据增强技术的测试集和训练集的情况下,针对深度伪造视频中面部伪造的检测系统的不同影响。
Nov, 2020
研究了 deepfake 检测器的泛化能力,发现现有模型难以适应未经训练的 deepfakes 数据集,但鉴于它们普遍学习合成方法的特定属性并难以提取区分特征,发现有神经元对已见和未见数据集都起到检测作用,为实现零样本泛化能力指明了可能的方向。
Aug, 2023