Sep, 2023
鲁棒顺序 DeepFake 检测
Robust Sequential DeepFake Detection
TL;DR鉴于当前人脸操作技术能够轻松生成逼真的假脸，其潜在的恶意滥用引起了广泛关注。然而，现有方法只专注于检测单步人脸操作。随着易于获取的人脸编辑应用的出现，人们能够通过多步操作来轻松修改面部组件。这一新威胁要求我们检测人脸操纵的连续序列，这对于检测深度伪造媒体和恢复原始面孔至关重要。因此，我们提出了一个新的研究问题，称为检测顺序深度伪造操纵 (Seq-DeepFake)。与现有的仅要求二元标签预测的深度伪造检测任务不同，检测 Seq-DeepFake 操纵需要正确预测一系列面部操作的顺序向量。为了支持大规模调查，我们构建了第一个 Seq-DeepFake 数据集，其中面部图像被顺序操纵，并具有相应的顺序面部操作向量注释。基于这个新数据集，我们将检测 Seq-DeepFake 操纵转化为一项特定的图像到序列的任务，并提出了简洁而有效的 Seq-DeepFake Transformer (SeqFakeFormer)。为了更好地反映真实世界的深度伪造数据分布，我们在原始 Seq-DeepFake 数据集上进一步应用了各种扰动，构建了更具挑战性的带有扰动的顺序深度伪造数据集 (Seq-DeepFake-P)。为了在面对 Seq-DeepFake-P 时更深入地挖掘图像和序列之间的相关性，我们设计了一种专用的 Seq-DeepFake Transformer with Image-Sequence Reasoning (SeqFakeFormer++)，它为更强大的 Seq-DeepFake 检测建立了图像-序列对之间更强的对应关系。