Sep, 2023

文本图像指导的扩散模型用于生成深度伪造的名人互动

PDF
TL;DR通过改进扩散模型以生成可控高质量的深度伪造图像，并使用 Dreambooth 训练提供更真实和个性化的输出图像，该研究展示了以惊人的逼真度创建虚假的视觉内容，并可作为权力政治人物会面的可信证据。
deepfake imagesdiffusion modelscontrollable contenthigh-quality deepfakecelebrity interactions
发现论文，激发创造
  • 使用扩散模型进行无偏面部合成：我们已经达到目标了吗？

    利用定性和定量指标以及用户研究，本论文主要研究了生成模型在面部图像生成中的有效性和不足之处，并提出了一个框架来审核生成的面部图像的特征。通过对最先进的文本到图像扩散模型生成的面部进行应用，我们发现面部图像生成存在的限制包括对文本提示的忠实度、人口统计不平衡和分布偏移。此外，我们还提出了一种分析模型，以了解训练数据选择如何影响生成模型的性能。

    Sep, 2023

  • DreamBooth: 针对主题驱动生成的 Fine Tuning 文字到图像扩散模型

    提出了一种新的 text-to-image 模型的个性化方法，该方法能够通过少量输入的图像，fine-tune 预训练的 text-to-image 模型，使其能够将唯一标识符绑定到特定主题上，并能够综合场景、姿态、观点和光照中出现的主题的新颖的高清图像。

    Aug, 2022

  • 家长和孩子：区分多模态深度伪造图像与自然图像

    本文通过系统研究最新扩散模型生成的虚假图片的真实性，分析其图像的低层特征和用作种子的文本说明的语义作用，并提供了一个新的包含约 600k 张图像的数据集 COCOFake。

    Apr, 2023

  • StyleAvatar3D: 基于图像文本扩散模型实现高保真 3D 头像生成

    本文提出了一种新的方法，结合使用预训练的图像文本扩散模型和基于生成对抗网络的 3D 生成网络，用于生成高质量，风格化的 3D 头像，并在视觉质量和多样性方面优于现有最先进的方法。

    May, 2023

  • 深度伪造检测的稳健性与泛化性：扩散模型研究

    通过对深度伪造图像的产生和检测进行深入研究，本论文提出了一种全面的深度伪造图像生成与识别的方法。在我们的研究中，我们创建了一个名为 DeepFakeFace (DFF) 的数据集，用于训练和测试检测深度伪造图像的算法。我们进行了对 DFF 数据集的全面评估，并提出了两种评估方法来测试深度伪造识别工具的强度和适应性。根据我们的发现，不同的深度伪造方法和图像变化产生了多种结果，突显了对深度伪造检测器的需求。我们的 DFF 数据集和测试旨在促进更有效的抵御深度伪造的工具的发展。

    Sep, 2023

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • 基于无条件扩散模型的实时文本驱动图像操作

    该论文研究了基于扩散模型的无条件文本驱动图像编辑方法的效率，并开发了一种新算法，可以快速学习和应用图像操作，从而提高实现应用的潜力。

    Apr, 2023

  • 寻找咒语：通过提示工程实现精确的文本到图像扩散合成

    通过 prompt 学习，我们提出了一种学习扩散模型适当文本描述的框架，通过利用预训练扩散模型导出的质量指导和语义指导，我们的方法可以有效地学习提示，从而提高输入文本和生成图像之间的匹配。通过广泛的实验和分析，验证了所提方法的有效性。

    Jan, 2024

  • EmoAttack: 情感对图像传播模型用于情感后门生成

    使用情感文本触发恶意负面内容生成图像的基于文本到图像扩散模型的情感感知背门攻击（EmoAttack）及其解决方法 EmoBooth。

    Jun, 2024

  • 扩散深度伪造

    通过生成式 AI 和扩散模型，我们引入了两个广泛的生成伪造数据集，用于测试当前深伪造检测器的脆弱性，并提出了增强训练数据多样性和动量困难提升策略来改进模型的普适性。通过全面评估，我们的模型优化方法明显优于以前的替代方案。

    Apr, 2024