Apr, 2024

通过 CLIP 检测人工智能生成的图像

PDF
TL;DR通过对大规模互联网数据集进行预训练后，在真实图像和人工智能生成图像进行微调，我们展示了细调后的 Contrastive Language-Image Pre-training（CLIP）架构能够与专门设计用于检测人工智能生成图像的模型相媲美甚至更好地区分人工智能生成图像，并且能够确定生成方法。我们的方法将显著提高人工智能生成图像检测工具的可用性，减少人工智能生成图像对社会的负面影响，因为我们的 CLIP 微调过程不需要对公开可用模型仓库进行架构更改，而且消耗的 GPU 资源明显更少。
ai-generated imagecontrastive language-image pre-trainingdifferentiationgeneration methodaigi-detection tools
发现论文，激发创造
  • 提高 AI 生成图像检测的解释性和鲁棒性

    随着生成模型的能力增长，人工内容检测成为一项越来越重要且困难的任务。本文关注 AI 生成图像（AIGI）检测器的鲁棒性，通过分析基于冻结 CLIP 嵌入的现有最先进方法并展示如何解释它们，我们揭示了各种 AI 生成器生成的图像与真实图像的差异，并提出了两种改进鲁棒性的方法：基于去除嵌入向量的有害成分和基于选择图像编码模型中表现最佳的注意力头。我们的方法在交叉模型转换中将平均超出分布（OOD）分类得分提高了高达 6%。我们还提出了一个用于 AIGI 检测的新数据集，并在评估中使用了该数据集；我们相信这个数据集将有助于推动进一步的研究。数据集和代码已作为补充提供。

    Jun, 2024

  • 提升人工智能生成图像检测的水平与 CLIP

    本研究旨在探索预训练视觉 - 语言模型（VLMs）在人工智能生成图像的普适检测中的潜力。我们基于 CLIP 特征开发了一种轻量级检测策略，并研究其在各种具有挑战性的场景下的性能。我们发现，与以往的观点不同，并不需要使用大量特定领域的数据集进行训练是必要且方便的。相反，通过仅利用来自单个生成模型的少量示例图像，基于 CLIP 的检测器展现出了出乎意料的泛化能力，并且在包括 Dalle-3、Midjourney v5 和 Firefly 在内的最新商业工具中具有高鲁棒性。我们在分布内数据上与 SoTA 相匹配，并在分布外数据的泛化能力（AUC 提高 6%）和受损 / 清洗数据的鲁棒性上实现了显著的改进（+ 13％）。我们的项目可以在此 https URL 找到。

    Nov, 2023

  • CLIP-Art: 微粒级艺术分类的对比式预训练

    使用 CLIP 方法训练神经网络， 实现了自由形式的艺术品描述和精细标签的学习，在计算机视觉和艺术品属性识别中具有较高实用价值，以 iMet 数据集为基础，使用自监督学习获得了有竞争力的结果。

    Apr, 2022

  • 民主化对比语言 - 图像预训练：一个数据、模型和监督的 CLIP 基准

    本文提出 CLIP-benchmark，对 CLIP 及其变种进行评估、分析和基准测试，并发现了数据、监督和模型架构三个关键因素对性能的影响及应用更恰当的监督可以有效提高 CLIP 性能。

    Mar, 2022

  • AI 生成图像检测的合理性检查

    通过对于生成模型的 AI 生成图像的检测任务进行检验，本文提出了一个具有挑战性的 Chameleon 数据集和 AIDE 模型，通过多个专家同时提取视觉特征和噪声模式来识别 AI 生成图像，并在现有基准测试以及挑战性的 Chameleon 基准测试中取得了令人满意的结果。

    Jun, 2024

  • GALIP: 文本到图像生成的生成对抗 CLIPs

    使用 CLIP 模型作为生成对抗网络中的鉴别器和生成器，我们提出 Generative Adversarial CLIPs（GALIP），以实现高质量、高效、快速且可控的文本到图像合成，同时减少训练数据和可学习参数。

    Jan, 2023

  • 深入研究对比语言图像预训练（CLIP）的鲁棒性

    该研究全面调查了 Contrastive Language-Image Pre-training (CLIP) 模型的安全目标，特别关注三个关键属性：对视觉因素变化的弹性，校准的不确定性估计以及检测异常输入的能力。研究揭示了 CLIP 模型的一些以前未知的见解，并强调了训练源设计的重要性及其对三个安全相关属性的深远影响。该全面研究有助于引导更加稳健可靠的 CLIP 模型的发展。

    Feb, 2024

  • ALIP: 自适应语言图像预训练与合成字幕

    通过生成综合信息的合成字幕并动态调整样本权重，自适应对比损失有效降低噪音数据的影响并增强预训练数据效率，Adaptive Language-Image Pre-training (ALIP) 在不同规模模型和预训练数据集上进行了实验验证，并在多个下游任务中取得了最先进的性能，包括零样本图像 - 文本检索和线性探测。

    Aug, 2023

  • 使用科学论文数据训练 CLIP 模型

    通过使用科学论文的文本 - 图像数据，该研究探索在特定领域内加入具有更高质量的有限数量数据是否能够提高 CLIP 模型的整体性能。小规模实验结果显示模型性能有中等程度的提升，表明使用该研究所考虑的数据来源来训练大规模 CLIP 模型是一个有价值的研究方向。

    Nov, 2023

  • CLIP-GEN: 使用 CLIP 进行无需语言条件的文本 - 图像生成训练

    本文提出了一种自监督学习策略 CLIP-GEN 用于通用的文本生成图像，只需要通用领域的未标记图像。我们使用来自 CLIP 的语言 - 图像先验知识，并使用自编码器和自回归变换器将图像转换为文本标记，并基于这里从文本编码器中提取的文本嵌入生成连贯的图像标记。定量和定性评估表明本方法在图像质量方面明显优于基于优化的文本到图像方法，而且不会影响文本与图像的匹配。

    Mar, 2022