Oct, 2023
其他计算机视觉任务与深度伪造检测的接近程度如何？
How Close are Other Computer Vision Tasks to Deepfake Detection?
Huy H. Nguyen, Junichi Yamagishi, Isao Echizen
TL;DR在这篇论文中，我们质疑传统的观点，即在深度伪造检测中，经过监督训练的 ImageNet 模型具有强大的泛化能力并适用于作为特征提取器。我们提出了一种新的度量方法，称为 “模型可分离性”，用于以一种无监督的方式视觉与定量地评估模型分离数据的能力。我们还提出了一个系统化的基准，以确定深度伪造检测与其他计算机视觉任务之间的相关性，使用预训练模型。我们的分析表明，预训练的人脸识别模型与深度伪造检测更密切相关。此外，使用自监督方法训练的模型在分离性方面比使用监督方法训练的模型更有效。在一个小型深度伪造数据集上进行所有模型的微调后，我们发现自监督模型提供了最佳结果，但存在过拟合的风险。我们的结果提供了有价值的见解，应该有助于研究人员和从业人员开发更有效的深度伪造检测模型。