Sep, 2023

DreamCom: 文本引导修复式图像合成模型微调

PDF
TL;DR图像合成的目标是将前景对象与背景图像合并以获取逼真的合成图像。最近，基于大型预训练扩散模型的生成式合成方法由于其前所未有的图像生成能力而得到发展。然而，生成的结果往往会丢失前景细节并出现明显的伪影。在本文中，我们提出了一种名为 DreamCom 的尴尬简单方法，灵感来自 DreamBooth。具体来说，给定一个主题的几个参考图像，我们通过微调文本导向修复扩散模型来将该主题与特殊标记相关联，并在指定的边界框内修复该主题。我们还构建了一个专门为此任务设计的新数据集 MureCom。
image compositiongenerative composition methodsforeground detailsartifactstext-guided inpainting diffusion model
发现论文，激发创造
  • DreamInpainter: 基于文本引导的主题驱动图像修复通过扩散模型

    本研究介绍了一种新颖的任务 —— 基于文本导向的主题驱动图像修复，它将文本和示例图像结合起来进行图像修复。通过同时适应这两个条件，我们提出了一种两步法的方法 ——DreamInpainter，该方法通过计算密集的主题特征来确保准确的主题复制，并利用一个有区分性的令牌选择模块来消除多余的主题细节，保留主题的身份，同时允许根据其他条件（如遮罩形状和文本提示）进行更改。此外，我们引入了一种解耦正则化技术，以增强在存在示例图像的情况下对文本的控制。我们广泛的实验证明了我们的方法在视觉质量、身份保护和文本控制方面的卓越性能，展示了它在文本导向的主题驱动图像修复的情境中的有效性。

    Dec, 2023

  • ControlCom：使用扩散模型进行可控图像合成

    通过使用大规模预训练的扩散模型，我们提出了一种可控的图像合成方法，将图像混合、图像协调、视角综合和生成式合成统一为一个扩散模型，同时设计了一个自监督训练框架和一个定制化的训练数据准备方法，并通过局部增强模块提高合成图像中前景细节的保真性。我们的方法在公共基准和实际数据上进行了评估，结果表明我们的方法比现有方法能够生成更加忠实和可控的合成图像。

    Aug, 2023

  • TokenCompose: 基于令牌级监督的语义扩散

    TokenCompose 是一种用于文本到图像生成的潜在扩散模型，通过在微调阶段引入图像内容和对象分割映射之间的标记一致性项，改善多类别实例组合，并提高生成图像的逼真度。

    Dec, 2023

  • RealCompo：现实主义与构成的动态平衡改进文本到图像扩散模型

    我们提出了一种新的训练免费和易于传输的文本到图像生成框架 RealCompo，旨在借鉴文本到图像和布局到图像模型的优势，增强生成图像的真实性和组合性，通过一个直观和新颖的平衡器动态平衡两个模型在去噪过程中的优势，允许任意模型的即插即用使用，广泛实验证明我们的 RealCompo 始终胜过最先进的文本到图像模型和布局到图像模型在多对象组合生成中同时保持令人满意的真实性和组合性。

    Feb, 2024

  • 无需训练的基于预训练扩散模型的语义视频合成

    通过使用一个预训练的扩散模型，处理具有更大语义差异的复合视频，我们的研究提出了一个无需训练的流程，以确保输出的视觉协调性和跨帧连贯性。

    Jan, 2024

  • 利用去噪实现拼贴，修复和和谐化：使用预训练的扩散模型进行主题驱动的图像编辑

    本研究提出了一种名为 PhD 的框架，它利用样例图像和文本描述来指定用户意图，通过对生成或编辑的图像进行插入、修补和协调来保证其视觉一致性，并通过实验验证其在主题驱动的图像编辑和基于参考主题的文本驱动场景生成方面均达到了最先进的性能。

    Jun, 2023

  • 深度图像合成

    该论文介绍了一种利用前景和背景图片的上下文和颜色信息进行端到端优化并采用自学习策略来训练的，能够自动生成高质量图像合成的新方法，该方法基于拉普拉斯金字塔融合，提出了一种密集的多流融合网络，并在易于复杂的情况下进行渐进式训练，其在定性和定量上均优于现有方法。

    Nov, 2020

  • 可组合扩散模型下的组合视觉生成

    通过解释扩散模型为基于能量的模型，在训练和测试阶段中将一组扩散模型组合在一起，结构化生成，该方法可用于合成预训练的文本指导的扩散模型并生成生动逼真的图像，解决了 DALLE-2 在对象属性方面的困难。

    Jun, 2022

  • RealmDreamer: 基于文本驱动的带修补和深度扩散的 3D 场景生成

    介绍了一种名为 RealmDreamer 的技术，可以通过文本描述生成通用的正面视图 3D 场景，并且具备高质量和多样性。该技术利用先进的文本到图像生成器初始化 3D 平面，并通过多个视图进行 3D 修补和基于图像的扩散建模，从而生成富含几何结构的场景。最后，通过图像生成器的锐化样本对模型进行微调，而无需视频或多视角数据，同时还可以从单个图像合成 3D 场景。

    Apr, 2024

  • 基于文本引导扩散模型的显著对象感知背景生成

    通过稳定扩散和控制网络结构，本文引入了一种适应显著物体扩展任务的修补扩散模型，通过定量和定性结果证明了该方法相比于稳定扩散 2.0 修补具有更好的效果，可以减少显著物体的边界扩展程度。

    Apr, 2024