Delocate:随机定位篡改痕迹的 Deepfake 视频检测和定位
通过提取多个非重叠的局部表征并将它们融合成全局的语义丰富特征,凭借信息瓶颈理论派生局部信息损失,保证局部表征的正交性同时保留全面的任务相关信息,通过互信息的理论分析得到全局信息损失,最终达到融合局部表征并且去除任务无关信息的目的,实证结果在五个基准数据集上取得了最新的性能,我们的代码可以在 https://github.com/QingyuLiu/Exposing-the-Deception 访问,希望能够激发研究人员的灵感。
Mar, 2024
该研究论文介绍了 “局部感知深度伪造检测算法”(LaDeDa),该算法使用单个 9x9 图像块作为输入,并输出其深度伪造得分。利用图像块级别的信息,LaDeDa 显著提高了检测的准确性,在当前基准测试中达到了约 99% 的平均准确率。此外,通过将 LaDeDa 简化为只有 4 层卷积层的高效模型 Tiny-LaDeDa,实现了 375 倍的浮点运算降低和 10000 倍的参数效率提高,使其可以在边缘设备上高效运行,并在准确性略微下降的情况下获得令人瞩目的成绩。然而,实验发现当前训练协议存在问题,导致方法无法推广到从社交媒体上提取的真实世界深度伪造图像。为解决这一问题,研究引入了一个新的深度伪造检测数据集 WildRF,该方法在该数据集上实现了 93.7% 的最佳性能,然而与完美准确度之间存在较大差距,表明可靠的真实世界深度伪造检测问题仍未解决。
Jun, 2024
利用基于深度学习的技术来鉴别伪造的面部操作视频,特别是针对基于强制仿射变换的面部偏移位移轨迹进行提取和多维度的神经病网络构建,其中虚拟锚点和时空图注意力和门控循环单元成功检测出现多重伪造训练数据集中的假视频,该方法表现出了竞争力。
Dec, 2022
提出了一种名为时序深度伪造定位 (Temporal Deepfake Location,TDL) 的细粒度部分伪造音频检测方法,采用了嵌入相似度模块和时序卷积操作,能够更准确地定位音频的真实性,并在 ASVspoof2019 部分伪造数据集中表现出优异性能。
Sep, 2023
通过使用基于解释、局部分数或注意机制的三种方法,并利用 Xception 网络作为共同的骨干架构,我们将任务定为弱监督定位问题,并在方法选择、监督类型、数据集和生成器等方面进行了仔细分析;我们的研究通过构建数据集,其中只有一个组件发生变化,证明了弱监督定位是可行的;而基于局部分数的最佳检测方法对于较松的监督比对于数据集或生成器的不匹配更不敏感。
Nov, 2023
通过提出一种局部感知自编码器及主动学习框架,为解决当前面临的深度伪造检测的泛化问题提供了一条新的途径,可以更加准确地针对伪造区域进行判别,从而提高残缺的检测能力。
Sep, 2019
通过创新的双流网络、多功能模块和半监督补丁相似性学习策略,本研究在深伪检测领域取得了显著的改进,通过六个基准测试表明具有较强的鲁棒性和普适性,并在深伪检测挑战预览数据集上将帧级 AUC 从 0.797 提高至 0.835,将 CelebDF_v1 数据集上的视频级 AUC 从 0.811 提高至 0.847。
Sep, 2023
基于 Segment Anything Model 的 Detect Any Deepfakes (DADF),通过 Reconstruction Guided Attention 模块优化了端到端的伪造检测和定位,在三个基准数据集上都取得了优秀的表现。
Jun, 2023
本文提出了一种新型深度伪造检测方法,利用 Vision Transformer、Scaling and Shifting pretraining 以及 Timeseries Transformer 分割视频,实现对视频帧的完整性检测,此方法能够高效地检测现有的深度伪造技术。
May, 2023