合成人脸图像的多通道跨模态检测

Nov, 2023

合成人脸图像的多通道跨模态检测

Multi-Channel Cross Modal Detection of Synthetic Face Images

M. Ibsen, C. Rathgeb, S. Marcel, C. Busch

TL;DR通过使用跨媒体聚焦损失函数分析频率和可见光谱中的信息，我们提出了一种用于检测完全合成面部图像的多通道架构，并与几种使用二进制交叉熵训练的相关架构进行比较，在跨模型实验中展示了受跨媒体聚焦损失函数监督的所提出的架构通常具有最具竞争力的性能。

Abstract

Synthetically generated face images have shown to be indistinguishable from real images by humans and as such can lead to a lack of trust in digital content as they can, for instance, be used to spread misinformation. Therefore, the need to develop algorithms for detecting entirely synthetic

synthetic face images deep learning-based models generative models multi-channel architecture cross modal focal loss

发现论文，激发创造

迈向 AI 合成人脸图像的检测

通过建立一个综合基准测试来评估最先进的检测器的泛化能力和鲁棒性，然后通过频域分析伪造痕迹来得出各种见解，并进一步证明使用频率表示训练的检测器可以很好地泛化到其他未见的生成模型。

Feb, 2024

合成人脸图像检测：准确性，鲁棒性，泛化性

探索合成人脸图像检测的实验研究。我们收集了一个称为 FF5 的数据集，包括近期的扩散模型，发现一个简单的模型在区分合成和真实图像方面能够达到近乎完美的准确率。该模型通过使用数据增强来处理常见的图像失真（降低分辨率、压缩）。此外，我们通过简单的 YOLO 架构模型识别了合成图像被修复到真实图像中的部分篡改，并定位了篡改区域。然而，该模型存在易受对抗性攻击的问题，并且对未见过的生成器无法泛化。我们还测试了最近的最先进方法在经过微调的 StabilityAI 的 Stable Diffusion 图像生成器上无法泛化来检测由新一代生成器产生的图像。

Jun, 2024

家长和孩子：区分多模态深度伪造图像与自然图像

本文通过系统研究最新扩散模型生成的虚假图片的真实性，分析其图像的低层特征和用作种子的文本说明的语义作用，并提供了一个新的包含约 600k 张图像的数据集 COCOFake。

Apr, 2023

基于语言引导对比学习的通用合成图像检测

本文提出了一种基于语言引导对比学习的合成图像检测方法，通过添加文本标签来进行联合文本 - 图像对比学习进行取证特征提取，并将合成图像检测问题制定为一种识别问题。该方法在准确性和 AUC 指标上明显优于同类问题的现有方法。

May, 2023

在跨概念设置中提高合成生成图像的检测

本文探讨了在不同概念类之间泛化的挑战，并提出了一种基于质量评估模型的质量抽样方法，通过 StyleGAN2 和 Latent Diffusion 生成的图像进行实验，结果表明采用本文提出的方法可以提高合成图像检测器的检测性能。

Apr, 2023

利用机器学习识别人工智能生成的合成图像

利用机器学习技术来区分 AI 生成的合成图像和真实图像，通过优化深度学习模型和对比实验结果表明，深度学习模型可以更准确地识别合成图像，进一步推动数字媒体可信度及 AI 生成内容的伦理和技术探索。

Jan, 2024

由单模态向多模态人脸 Deepfake 检测的发展：一项调查

通过对深度伪造检测方法的综述研究，本论文提供了面向人脸为中心的深度伪造技术的分类、检测方法的演化以及适应新的生成模型的挑战，并探索了提高深度伪造检测器的可靠性和稳健性的方向。

Jun, 2024

让真实图像作为判断者，发现由生成模型合成的假图像

通过学习真实图像的自然特征，利用监督对比学习的方法，我们的研究提出了一种探测器，针对虚假图像中的伪像纹理的变化进行检测，并在广泛的实验证明了其在未知伪造技术的泛化和对不同变换的鲁棒性方面的显著优势。

Mar, 2024

基于交叉带协同分析的 CNN 检测 GAN 生成的人脸图像

本文提出了一种利用交叉波段共生矩阵的方法来区分生成的合成图像和自然图像，用于生成合成脸部图像的真伪检验。该检测方法在光谱波段不一致性的基础上，在空间共同出现矩阵之外利用交叉频带共生矩阵，并利用 CNN 模型来训练识别真实和合成面部图像。实验表明，该方法对克服几何变换、过滤和对比度处理等后处理的鲁棒性优于其他基于波段内空间共同出现矩阵的检测技术。

Jul, 2020

合成图像对基于孪生网络的形变攻击检测的影响

研究评估了使用具有半硬损失函数的暹罗网络在形态攻击检测（MAD）中，合成图像对其影响。通过跨数据集评估来测量合成图像的泛化能力。使用传统的 MobileNetV2、MobileNetV3 和 EfficientNetB0 预训练网络作为特征提取器。我们的结果表明，在 FERET、FRGCv2 和 FRLL 数据库上， EfficientNetB0 训练的 MAD 具有比 SOTA 更低的错误率。相反，当系统仅使用合成图像进行训练时，性能较差。混合方法（合成 + 数字）数据库可以帮助改进 MAD 并降低错误率。这表明我们仍需要在训练过程中继续努力包含合成图像。

Mar, 2024