Apr, 2024

三元探测器：基于文本辅助和注意力机制的光谱融合用于扩散生成图像检测

PDF
TL;DR本文提出了一种针对扩散模型特别设计的伪造检测方法 —— 三位一体检测器，它通过使用 CLIP 编码器将粗粒度文本特征与像素域中的细粒度伪造物相结合，实现了综合多模态检测。通过设计多光谱通道注意力融合单元（MCAF），提取频谱不一致性，并进一步集成两种模态的空间共现性，以增加对扩散生成图像特征的敏感性。大量实验证明，我们的三位一体检测器方法优于多种最先进的方法，在所有数据集上都具有较强的竞争力，并在扩散数据集的可迁移性上提升了 17.6%。
artificial intelligence generated contentforgery detection methodtrinity detectordiffusion modelsdeep forgeries
发现论文，激发创造
  • 基于交叉注意力增强双流网络的人工智能图像检测

    本研究提出了一种使用文本到图像生成过程中的残差网络和内容网络结合的检测方法以及跨多头注意机制来检测 AI 产生的虚假图片，并取得了优于传统 CG 检测技术的结果。

    Jun, 2023

  • DA-HFNet：基于双重注意力的渐进式细粒度伪造图像检测和定位

    使用双重关注机制及多分支交互网络，在不同尺度上捕捉伪造图像的伪造特征，有效提高伪造图像检测和定位的性能。

    Jun, 2024

  • 使用扩散模型增强场景文本检测器的真实文本图像合成

    通过扩充背景与前景文字的整合，Diffusion Model based Text Generator (DiffText) 创造了一种能生成真实文本图像并优化文本探测器性能的新型合成数据集方法。

    Nov, 2023

  • 适应性仿真图像检测的防伪能力自适应变压器

    本文研究的问题是可广泛适用的合成图像检测，旨在检测来自各种生成方法，例如 GAN 和扩散模型的伪造图像。研究发现，传统的固定模式不利于学习伪造表示，因此提出了一种新颖的伪造感知自适应变压器方法，即 FatFormer。经过实验验证，FatFormer 在未见过的 GAN 和扩散模型上表现出色，检测性能平均达到 98% 和 95% 的准确率。

    Dec, 2023

  • MMA-Diffusion：多模态对抗扩散模型

    近年来，文本到图像（T2I）模型取得了显著进展并广泛应用，然而这一进展无意中开辟了潜在的滥用途径，尤其是生成不适宜或不安全的内容。我们的工作引入了 MMA-Diffusion，这是一个对 T2I 模型安全性构成严重和真实威胁的框架，通过有效绕过开源模型和商业在线服务的当前防御措施。与以往的方法不同，MMA-Diffusion 利用文本和视觉模式来绕过提示过滤器和事后安全检查器等保护措施，从而揭示现有防御机制的弱点。

    Nov, 2023

  • 关于检测扩散模型生成的合成图像

    本文旨在了解人们无法将由扩散模型产生的合成图像与原始图像区分开来的难度，并研究当前的最先进检测器是否适用于此任务。

    Nov, 2022

  • 条件式扩散模型文本图像生成

    本文提出一种名为 CTIG-DM 的新方法，它结合了图像条件、文本条件和风格条件来控制样本在图像生成过程中的属性、内容和风格。经过大量的实验，证明 CTIG-DM 能够产生模拟现实世界复杂性和多样性的图像样本，具有很强的潜力用于领域适应和生成包含 OOV（Out-Of-Vocabulary）词的图像。

    Jun, 2023

  • 多目标文本到图像生成的检测器指导

    介绍了 Detector Guidance，它可以整合潜在的对象检测模型，在生成过程中分离不同的对象、屏蔽冲突的提示信息、增强相关的提示信息，从而提高稳定扩散在 COCO、CC 和 MRO 三项基准测试中的表现。

    Jun, 2023

  • FakeInversion: 通过反转稳定扩散学习检测从未见过的文本图像模型生成的图像

    由于 GenAI 系统滥用的潜力很高，检测合成图像的任务最近备受研究界的关注。本文提出一种利用反转开源预训练的稳定扩散模型获取的特征的新型合成图像检测器。我们展示这些反转特征使得我们的检测器能够很好地泛化到高视觉保真度的未知生成器上（例如，DALL-E 3），即使该检测器仅在通过稳定扩散生成的低保真度伪图像上训练。这个检测器在多个训练和评估设置上取得了新的最先进水平。此外，我们引入了一种新的具有挑战性的评估协议，使用反向图像搜索来减轻检测器评估中的风格和主题偏见。我们展示所得的评估分数与检测器在野外的性能一致，并将这些数据集作为未来研究的公共基准发布。

    Jun, 2024

  • 基于文本模态的图像特征提取用于检测基于扩散的深度伪造

    通过传统图像编码器提取的特征分析发现，无论是低级特征还是高级特征都对于识别不同扩散方法制作的 DeepFake 图像具有独特的优势。受到这一发现的启发，我们旨在开发一种有效的表示方法，以捕捉低级和高级特征来检测基于扩散的 DeepFakes。为了解决这个问题，我们提出了一种文本模态导向的特征提取方法，称为 TOFE。具体而言，对于给定的目标图像，我们发现的表示是一个相应的文本嵌入，可引导具有特定文本到图像模型的目标图像生成。在十种扩散类型的实验中证明了我们提出的方法的功效。

    May, 2024