Mar, 2024

IMPRINT: 学习保持身份特征的生成式对象合成

PDF
TL;DR本文介绍了一种名为 IMPRINT 的新型扩散式生成模型，使用两阶段学习框架，将保持对象身份的学习与组合学习分离开来，实现了上下文无关的身份保留预训练和背景下对象无缝融合的学习，同时引入了一种形状引导机制，提供用户对组合过程的控制。大量实验证明，IMPRINT 在身份保留和组合质量方面明显优于现有方法和各种基线方法。
发现论文，激发创造
  • IMPRESS: 评估扩散式生成人工智能中不可察觉扰动对未经授权的数据使用的韧性

    通过引入名为 IMPRESS 的扰动净化平台，我们评估了不易察觉的扰动作为一种保护措施的有效性，并提供了对几种现代保护方法的全面评估，同时可作为未来保护方法的评估平台。

    Oct, 2023

  • DreamCom: 文本引导修复式图像合成模型微调

    图像合成的目标是将前景对象与背景图像合并以获取逼真的合成图像。最近，基于大型预训练扩散模型的生成式合成方法由于其前所未有的图像生成能力而得到发展。然而，生成的结果往往会丢失前景细节并出现明显的伪影。在本文中，我们提出了一种名为 DreamCom 的尴尬简单方法，灵感来自 DreamBooth。具体来说，给定一个主题的几个参考图像，我们通过微调文本导向修复扩散模型来将该主题与特殊标记相关联，并在指定的边界框内修复该主题。我们还构建了一个专门为此任务设计的新数据集 MureCom。

    Sep, 2023

  • 个性化扩散的身份编码器

    论文探讨了使用编码器和扩散生成器来进行个性化图像生成的方法，并比较了该方法与 Fine-tuning 等已有方法的性能，实验结果表明，该方法在图像生成和重建上表现更好，且适用于更多应用场景。

    Apr, 2023

  • 增强身份保护对于扩散个性化的数据观点

    使用大型文本到图像模型生成图像的能力已经引起了巨大的变革，但是对于特定独特或个人化的视觉概念，如您的宠物、屋内物品等，并不能被原始模型捕捉到。本文通过采用数据为中心的方法，提出了一种新颖的正则化数据集生成策略，旨在解决文本连贯性丧失和身份保留问题，进一步提高图像质量，并能生成符合输入文本提示的多样样本。实验证明，我们的数据为中心的方法在图像质量方面具有新的技术实力，在身份保留、多样性和文本对齐之间取得了最佳的平衡。

    Nov, 2023

  • 任何身份的生成去学习

    我们提出了一种名为 Generative Unlearning for Any Identity (GUIDE) 的新框架，在人脸等涉及隐私问题的领域中实现了生成性身份去除，并在生成机器去除任务中取得了最先进的性能。

    May, 2024

  • IMPUS：使用扩散模型的感官均匀采样图像变形

    我们提出了一种基于扩散的图像变形方法，采用感知均匀采样（IMPUS），给定一对图像，产生平滑、直观、逼真的插值。

    Nov, 2023

  • FaceStudio：在几秒钟内将您的脸放到任何地方

    本研究通过引入直接前馈机制和混合引导框架，以人物图像为重点，实现了保留主体身份的图像合成，旨在快速高效生成艺术肖像和身份融合图像，并在定性和定量评估中证明了方法在高保真度和效率方面的优越性。

    Dec, 2023

  • 基于知识引导的深度印象对象发现

    提出了一种名为 ADI 的框架，该框架采用获取物体 “印象” 的方式进行组合场景理解，通过记忆印象和应用生成式重放策略，重新利用学到的知识生成带有伪标注的图像并辅助学习新的场景，实验结果表明：所提出的框架能够有效地利用所获取的 “印象”，提高场景分解表现。

    Mar, 2021

  • 使用文本到图像扩散模型驯服编码器，实现零微调图像个性化定制

    本文提出了一种基于编码器和文本到图像合成模型的方法，用于生成用户定制的对象图像，经过实验验证表明该方法能够产生具有魅力的高质量、多样化和逼真度高的图像。

    Apr, 2023

  • DreamIdentity：提高可编辑性，实现高效面部身份保留图像生成

    该论文提出了一种优化自由的面部识别编码器，以在条件面部图像中保留面部标识符，并提出了自我增强的可编辑性学习方法，从而在更快的速度下生成具有不同场景下的保留标识符的图像。

    Jul, 2023