Apr, 2023

家长和孩子：区分多模态深度伪造图像与自然图像

PDF
TL;DR本文通过系统研究最新扩散模型生成的虚假图片的真实性，分析其图像的低层特征和用作种子的文本说明的语义作用，并提供了一个新的包含约 600k 张图像的数据集 COCOFake。
diffusion modelsdeepfakesfake image detectionvisual featuresmultimodal setting
发现论文，激发创造
  • 文本图像指导的扩散模型用于生成深度伪造的名人互动

    通过改进扩散模型以生成可控高质量的深度伪造图像，并使用 Dreambooth 训练提供更真实和个性化的输出图像，该研究展示了以惊人的逼真度创建虚假的视觉内容，并可作为权力政治人物会面的可信证据。

    Sep, 2023

  • 揭示真相：探索虚假图像中的人类注视模式

    通过人类语义知识和眼动实验研究假图像检测的可能性，结果显示人们在感知伪造样本时倾向于关注图像的更局部区域，与观看真实图像时更分散的观察模式形成对比。

    Mar, 2024

  • r/Fakeddit: 细粒度虚假新闻检测的新多模态基准数据集

    使用机器学习分类模型是打击假新闻传播的有效方法，但缺乏有效的全面数据集一直是假新闻研究和检测模型发展的问题。Fakeddit 是一个新颖的多模态数据集，包括一百万个多个类别的假新闻样本，并通过远程监督进行两种，三种和六种分类。我们构建了混合文本 + 图像模型并进行了多个变体的分类实验，证明了 Fakeddits 的多模式和精细分类的重要性。

    Nov, 2019

  • 扩散深度伪造

    通过生成式 AI 和扩散模型，我们引入了两个广泛的生成伪造数据集，用于测试当前深伪造检测器的脆弱性，并提出了增强训练数据多样性和动量困难提升策略来改进模型的普适性。通过全面评估，我们的模型优化方法明显优于以前的替代方案。

    Apr, 2024

  • 合成人脸图像的多通道跨模态检测

    通过使用跨媒体聚焦损失函数分析频率和可见光谱中的信息，我们提出了一种用于检测完全合成面部图像的多通道架构，并与几种使用二进制交叉熵训练的相关架构进行比较，在跨模型实验中展示了受跨媒体聚焦损失函数监督的所提出的架构通常具有最具竞争力的性能。

    Nov, 2023

  • 利用实体增强框架融合多模态线索提高假新闻检测

    本文围绕多模态虚假新闻检测问题，提出了一种新的提取多模态线索的框架，该框架能够充分地考虑图像文本的三种关系，并在实验证明其优于现有文献的方法。

    Aug, 2021

  • 让真实图像作为判断者，发现由生成模型合成的假图像

    通过学习真实图像的自然特征，利用监督对比学习的方法，我们的研究提出了一种探测器，针对虚假图像中的伪像纹理的变化进行检测，并在广泛的实验证明了其在未知伪造技术的泛化和对不同变换的鲁棒性方面的显著优势。

    Mar, 2024

  • 深度伪造检测的稳健性与泛化性：扩散模型研究

    通过对深度伪造图像的产生和检测进行深入研究，本论文提出了一种全面的深度伪造图像生成与识别的方法。在我们的研究中，我们创建了一个名为 DeepFakeFace (DFF) 的数据集，用于训练和测试检测深度伪造图像的算法。我们进行了对 DFF 数据集的全面评估，并提出了两种评估方法来测试深度伪造识别工具的强度和适应性。根据我们的发现，不同的深度伪造方法和图像变化产生了多种结果，突显了对深度伪造检测器的需求。我们的 DFF 数据集和测试旨在促进更有效的抵御深度伪造的工具的发展。

    Sep, 2023

  • 深度假文本检测：限制和机遇

    本文通过收集 Transformer-based 工具生成的 deepfake 文本从而评估现有方法在野外环境中实际应用的能力，并通过对抗攻击研究对现有防御措施的稳健性。研究发现，将文本内容中的语义信息引入是提高 deepfake 文本检测方案鲁棒性和泛化性能的有效途径。

    Oct, 2022

  • 基于文本模态的图像特征提取用于检测基于扩散的深度伪造

    通过传统图像编码器提取的特征分析发现，无论是低级特征还是高级特征都对于识别不同扩散方法制作的 DeepFake 图像具有独特的优势。受到这一发现的启发，我们旨在开发一种有效的表示方法，以捕捉低级和高级特征来检测基于扩散的 DeepFakes。为了解决这个问题，我们提出了一种文本模态导向的特征提取方法，称为 TOFE。具体而言，对于给定的目标图像，我们发现的表示是一个相应的文本嵌入，可引导具有特定文本到图像模型的目标图像生成。在十种扩散类型的实验中证明了我们提出的方法的功效。

    May, 2024