适应性仿真图像检测的防伪能力自适应变压器
借助先进的人脸操作技术,本研究提出了一种新的适应性伪造感知 Transformer (FA-ViT) 来检测 Deepfakes,通过冻结预训练的 Transformer 参数并引入特定组件 (LFI 和 GFA) 来适应与伪造相关的知识,并利用单域成对学习 (SDPL) 以提高性能。实验证明,FA-ViT 在跨数据集评估和跨操作情景中具有最先进的性能,提高了对未知扰动的鲁棒性。
Sep, 2023
本文提出了第一种参数高效调节 deepfake 检测模型的方法 DeepFake-Adapter,该方法采用适配器模块从大型预训练 Vision Transformers 中提取高级语义,以有效且高效地帮助 deepfake 检测。通过在 MLP 层旁插入具有全局感知的 Englobed Adapters 和跨越 ViT 特征的局部感知的空间 Adapter,该方法可以将先前训练好的 Vision Transformers 的高级语义与本地和全局低级别伪造的 deepfake 数据的降噪信息相结合,从而提高 deepfake 的准确度和泛化能力。
Jun, 2023
在图像伪造不断更新的现今,卷积神经网络和自编码结构的 Forensic-Transfer 方法可以提高图像伪造检测的可迁移性并显著提高性能。
Dec, 2018
提出了一种基于 Transformers 的图像伪造定位方法 TransForensics,结合密集自注意力编码器和密集校正模块用于模拟全局上下文和不同尺度下的本地补丁之间的所有成对相互作用,该方法不仅可以捕捉有区分性的表示并获得高质量的蒙版预测,而且不受篡改类型和补丁序列顺序的限制,在主要基准测试中表现优于现有的现有方法。
Aug, 2021
通过自我监督学习的实现,该论文提出了一种自我监督变压器协同对比和重建学习 (CoReST) 方法,该方法首先仅在真实人脸视频上进行自我监督预训练,然后在特定的人脸伪造视频数据集上用线性头进行微调,通过引入对比和重建学习的辅助任务来增强表示学习,同时引入领域适应性重建模块来弥合不同伪造领域之间的差距,实验结果表明,该方法在公共数据集上的表现比现有的有监督竞争方法更好,并具有令人印象深刻的泛化性能。
Sep, 2023
利用主动合成的伪造图像进行深度学习的泛化辨别,提出了一种新的深度伪造检测方法,该方法使用一种泛化表示,并通过增加伪造的多样性和扩展敏感性来提高检测效果,采用了对抗训练策略,能获得更好的性能表现。
Mar, 2022
该研究探索了预训练视觉 - 语言模型与先进适应方法相结合在通用深假检测中的有效性,结果表明,保留视觉和文本部分对于检测效果至关重要。通过提出的简单轻量级的 Prompt Tuning 适应策略,使用较少的训练数据(20 万张图像,相较于 72 万张),在 mAP 和准确率上超过先前的方法 5.01% 和 6.61%。在 21 个不同数据集的严格测试中,该模型展现了在包括基于 GANs、基于 Diffusion 和商业工具生成的图像中的实际适用性。
Feb, 2024
通过学习真实图像的自然特征,利用监督对比学习的方法,我们的研究提出了一种探测器,针对虚假图像中的伪像纹理的变化进行检测,并在广泛的实验证明了其在未知伪造技术的泛化和对不同变换的鲁棒性方面的显著优势。
Mar, 2024