May, 2024

基于文本模态的图像特征提取用于检测基于扩散的深度伪造

PDF
TL;DR通过传统图像编码器提取的特征分析发现，无论是低级特征还是高级特征都对于识别不同扩散方法制作的 DeepFake 图像具有独特的优势。受到这一发现的启发，我们旨在开发一种有效的表示方法，以捕捉低级和高级特征来检测基于扩散的 DeepFakes。为了解决这个问题，我们提出了一种文本模态导向的特征提取方法，称为 TOFE。具体而言，对于给定的目标图像，我们发现的表示是一个相应的文本嵌入，可引导具有特定文本到图像模型的目标图像生成。在十种扩散类型的实验中证明了我们提出的方法的功效。
diffusion methodsdeepfake detectionimage encoderstofetext-to-image model
发现论文，激发创造
  • 家长和孩子：区分多模态深度伪造图像与自然图像

    本文通过系统研究最新扩散模型生成的虚假图片的真实性，分析其图像的低层特征和用作种子的文本说明的语义作用，并提供了一个新的包含约 600k 张图像的数据集 COCOFake。

    Apr, 2023

  • 文本图像指导的扩散模型用于生成深度伪造的名人互动

    通过改进扩散模型以生成可控高质量的深度伪造图像，并使用 Dreambooth 训练提供更真实和个性化的输出图像，该研究展示了以惊人的逼真度创建虚假的视觉内容，并可作为权力政治人物会面的可信证据。

    Sep, 2023

  • 去扩散使文本成为强大的跨模态接口

    我们展示了一种以文本作为强大的跨模态接口的方法，通过将图像表示为文本，利用自然语言的可解释性和灵活性，我们使用一个自动编码器，将输入图像转换为文本，并通过固定的文本到图像扩散解码器进行重构，该过程称为 De-Diffusion。实验证实了 De-Diffusion 文本表示图像的精确性和综合性，使其可以轻松地被一般的文本到图像工具和 LLMs 接收，并可用于多样化的多模态任务。

    Nov, 2023

  • 使用扩散模型增强场景文本检测器的真实文本图像合成

    通过扩充背景与前景文字的整合，Diffusion Model based Text Generator (DiffText) 创造了一种能生成真实文本图像并优化文本探测器性能的新型合成数据集方法。

    Nov, 2023

  • PFB-Diff: 文本驱动的图像编辑中的渐进式特征融合扩散

    提出了一种基于 PFB-Diff 的渐进式特征融合方法，可以有效地解决各种图像编辑任务，包括对象 / 背景替换和对象属性编辑，无需微调或训练，并展示了其在图像保真度，编辑准确性、效率和对原始图像信实性方面的优越性。

    Jun, 2023

  • FakeInversion: 通过反转稳定扩散学习检测从未见过的文本图像模型生成的图像

    由于 GenAI 系统滥用的潜力很高，检测合成图像的任务最近备受研究界的关注。本文提出一种利用反转开源预训练的稳定扩散模型获取的特征的新型合成图像检测器。我们展示这些反转特征使得我们的检测器能够很好地泛化到高视觉保真度的未知生成器上（例如，DALL-E 3），即使该检测器仅在通过稳定扩散生成的低保真度伪图像上训练。这个检测器在多个训练和评估设置上取得了新的最先进水平。此外，我们引入了一种新的具有挑战性的评估协议，使用反向图像搜索来减轻检测器评估中的风格和主题偏见。我们展示所得的评估分数与检测器在野外的性能一致，并将这些数据集作为未来研究的公共基准发布。

    Jun, 2024

  • 从文本到掩码：使用文本 - 图像扩散模型的注意力定位实体

    本研究揭示了扩散模型中隐藏的丰富多模态知识的一种新方法，用于分割任务。

    Sep, 2023

  • TokenFlow：一致扩散特征用于一致视频编辑

    基于文本驱动的视频编辑，我们介绍了一个利用文本到图像扩散模型的框架，生成高质量视频的同时保留输入视频的空间布局和运动，实现编辑视频的一致性。

    Jul, 2023

  • 细调用于类别层次虚假特征生成的文本到图像扩散模型

    使用大规模文本到图像扩散模型生成虚假特征的方法，通过利用已发现的虚假图像个性化扩散模型，并基于对抗性稳定模型的神经特征提出了一种新的虚假特征相似性损失，实验证明我们的方法能够一致且可视地生成与虚假 ImageNet 参考图像相似的虚假图像。

    Feb, 2024

  • 基于 DDPM 的变化检测的特征操作

    拟议了两种方法：Feature Attention 和 FDAF，将从扩散模型中提取的特征图进行语义上有用的操作；在 LEVIR-CD 数据集上，使用 Feature Attention 的模型获得了 F1 值（90.18）和 IoU 值（83.86）的最新成绩。

    Mar, 2024