提高 AI 生成图像检测的解释性和鲁棒性

Jun, 2024

提高 AI 生成图像检测的解释性和鲁棒性

Improving Interpretability and Robustness for the Detection of AI-Generated Images

Tatiana Gaintseva, Laida Kushnareva, German Magai, Irina Piontkovskaya, Sergey Nikolenko...

TL;DR随着生成模型的能力增长，人工内容检测成为一项越来越重要且困难的任务。本文关注 AI 生成图像（AIGI）检测器的鲁棒性，通过分析基于冻结 CLIP 嵌入的现有最先进方法并展示如何解释它们，我们揭示了各种 AI 生成器生成的图像与真实图像的差异，并提出了两种改进鲁棒性的方法：基于去除嵌入向量的有害成分和基于选择图像编码模型中表现最佳的注意力头。我们的方法在交叉模型转换中将平均超出分布（OOD）分类得分提高了高达 6%。我们还提出了一个用于 AIGI 检测的新数据集，并在评估中使用了该数据集；我们相信这个数据集将有助于推动进一步的研究。数据集和代码已作为补充提供。

Abstract

With growing abilities of generative models, artificial content detection becomes an increasingly important and difficult task. However, all popular approaches to this problem suffer from poor generalization across domains and generative models. In this work, we focus on the

artificial content detection ai-generated image detectors robustness embedding vector attention heads

发现论文，激发创造

通过 CLIP 检测人工智能生成的图像

通过对大规模互联网数据集进行预训练后，在真实图像和人工智能生成图像进行微调，我们展示了细调后的 Contrastive Language-Image Pre-training（CLIP）架构能够与专门设计用于检测人工智能生成图像的模型相媲美甚至更好地区分人工智能生成图像，并且能够确定生成方法。我们的方法将显著提高人工智能生成图像检测工具的可用性，减少人工智能生成图像对社会的负面影响，因为我们的 CLIP 微调过程不需要对公开可用模型仓库进行架构更改，而且消耗的 GPU 资源明显更少。

Apr, 2024

AI 生成图像检测的合理性检查

通过对于生成模型的 AI 生成图像的检测任务进行检验，本文提出了一个具有挑战性的 Chameleon 数据集和 AIDE 模型，通过多个专家同时提取视觉特征和噪声模式来识别 AI 生成图像，并在现有基准测试以及挑战性的 Chameleon 基准测试中取得了令人满意的结果。

Jun, 2024

基于交叉注意力增强双流网络的人工智能图像检测

本研究提出了一种使用文本到图像生成过程中的残差网络和内容网络结合的检测方法以及跨多头注意机制来检测 AI 产生的虚假图片，并取得了优于传统 CG 检测技术的结果。

Jun, 2023

RIGID: 一个面向鲁棒的、无需训练的、模型无关的 AI 生成图片检测框架

该研究提出了一种无需训练的方法（RIGID），通过在视觉基础模型的表示空间中比较原始图像和受到微小噪声扰动的图像之间的相似性，来区分真实图像和由人工智能生成的图像。评估结果显示，RIGID 在各种人工智能生成图像和评估指标上明显优于现有的基于训练和无训练的检测器，尤其是性能平均提高了 25％以上。此外，RIGID 具有很强的泛化能力，适用于不同的图像生成方法，并对图像的损坏具有鲁棒性。

May, 2024

在线检测 AI 生成图像

通过研究 AI 生成图像的检测方法以及泛化性能，本研究扩展了像素预测的应用并评估了使用合成图像训练像素检测器的可行性。

Oct, 2023

基于时空异常学习的 AI 生成视频检测

该研究探讨了有效的基于人工智能生成视频的检测方案，通过使用两个分支的时空卷积神经网络来捕捉取证迹象，对视频的空间和光流异常进行分析，通过融合子检测器的结果来提高判别能力，并构建了一个大规模生成的视频数据集作为模型训练和评估的基准。

Mar, 2024

GenDet：面向 AI 生成的图像检测的良好泛化能力

该论文提出了一种针对未知生成器的异常检测视角下的对抗式师生差异感知框架，通过采用对抗学习训练特征增强器，促使真实图像与教师模型之间的输出差异较小，而假图像的输出差异较大，从而解决了未知生成器检测问题。实验结果在公共基准测试中达到了最先进水平，可视化结果显示在面对各种类型的生成器时仍能保持较大的输出差异。

Dec, 2023

AI 生成文本检测器对抗扰动的鲁棒性研究

本文研究了现有的 AI 生成文本检测方法的鲁棒性，并介绍了一种新的检测器 ——Siamese Calibrated Reconstruction Network（SCRN）。SCRN 采用重构网络来添加和去除文本中的噪声，从而提取出对局部扰动具有鲁棒性的语义表示。我们还提出了一种孪生校准技术来训练模型，在不同的噪声下做出相同的置信度预测，从而提高模型对抗性扰动的鲁棒性。在四个公开数据集上的实验证明，SCRN 在对抗攻击下相对于最佳基线方法取得了 6.5％-18.25％的绝对准确率改进。此外，在跨领域、跨种类和混合来源场景下展现了卓越的泛化能力。代码可在 https://github.com/CarlanLark/Robust-AIGC-Detector 获取。

Jun, 2024

关于水印人工智能生成内容的弱点研究

人工智能生成内容 (AIGC) 在社交媒体上越来越受欢迎，其服务利用先进的生成模型，如潜在扩散模型和大型语言模型，为用户生成创意内容 (例如逼真的图像，流畅的句子)。本文展示了水印在生成的内容中的易破解性，并提出了 WMaGi 框架，通过利用预训练的扩散模型和生成对抗网络实现水印的移除和伪造，从而实现对生成内容的高速攻击。

Sep, 2023

混合低秩专家用于可传输的人工智能生成图像检测

通过开发通用的人工智能生成图像检测器，该研究旨在识别不同来源的图像。该方法通过深入挖掘 CLIP-ViT 的潜力并保留知识，扩展可传递检测的能力，提出了一种新颖的参数高效的微调方法，使用低秩专家的混合模式在 MoE 结构中融合共享和分离的 LoRAs。通过在公共基准测试中进行大量实验，我们的方法在跨生成器泛化和对扰动的鲁棒性方面实现了超越最先进方法的优越性。值得注意的是，我们表现最佳的 ViT-L/14 变体只需训练其 0.08% 的参数即可将最领先的基线提高 + 3.64% 的 mAP 和 + 12.72% 的平均准确率，超越了仅使用训练数据的 0.28% 的基线。

Apr, 2024