Mar, 2024

LayerDiff：通过层级协作扩散模型，探索文本引导的多层可组合图像合成

PDF
TL;DR本文提出了一种称为 LayerDiff 的分层协同扩散模型，专门用于文本引导的多层可组合图像合成，该模型能够生成与传统的整体图像生成方法相媲美的高质量多层图像，并实现了更广泛的可控生成应用，包括分层图像编辑和风格迁移。
layer-collaborative diffusion modelmulti-layered image synthesistext-guidedinter-layer attentionlayer-specific prompts
发现论文，激发创造
  • Text2Layer: 使用潜在扩散模型的分层图像生成

    以分层图片生成的视角，从生成图像转变为同时生成背景、前景、图层掩码和合成图像。提出的方法可实现更好的合成工作流和高质量图像输出，同时得到比图像分割产生的图层掩码更高质量的效果。实验结果表明该方法能够生成高质量的分层图片，为未来的工作提供了基准。

    Jul, 2023

  • 层级扩散：使用扩散模型进行分层控制图像编辑

    本文提出了一种基于语义的分层控制图像编辑方法 ——LayerDiffusion，通过对大规模文本转图像模型的利用，结合分层控制优化策略和分层扩散训练，实现特定主题属性的非刚性编辑和属性修改，同时保持其独特的特征并无缝地融入新背景，而在扩散过程中采用迭代引导策略生成与文字描述相符的最终图像，在实验结果中发现 LayerDiffusion 能够生成高度一致、与给定文本描述密切符合的图像，同时保持与输入图像相似的特征，超越了当前领先的图像编辑方法，开启了图像编辑的新可能性。

    May, 2023

  • 零样本引导图像合成的分层渲染扩散模型

    本文介绍了增强依赖于文本查询的扩散模型的空间可控性的创新解决方案，提出了两个关键创新：视觉引导和分层渲染扩散（LRDiff）框架。该方法通过视觉引导和分层渲染策略实现更高效和准确的图像综合，用于满足特定的空间和上下文需求，并通过实验证明其在定量和定性上优于现有技术。

    Nov, 2023

  • 刷字：通过扩散模型在图像上合成任意场景文本

    提出了 Diff-Text，它是一个训练免费的场景文本生成框架，能够以任何语言的文本和场景的文本描述为输入，输出逼真的照片。通过引入局部化的注意力约束和对比度图像级提示，实现了场景文本的准确生成，并在文本识别准确性和前景背景融合的自然度方面优于现有方法。

    Dec, 2023

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • 寻找咒语：通过提示工程实现精确的文本到图像扩散合成

    通过 prompt 学习，我们提出了一种学习扩散模型适当文本描述的框架，通过利用预训练扩散模型导出的质量指导和语义指导，我们的方法可以有效地学习提示，从而提高输入文本和生成图像之间的匹配。通过广泛的实验和分析，验证了所提方法的有效性。

    Jan, 2024

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022

  • 可组合扩散模型下的组合视觉生成

    通过解释扩散模型为基于能量的模型，在训练和测试阶段中将一组扩散模型组合在一起，结构化生成，该方法可用于合成预训练的文本指导的扩散模型并生成生动逼真的图像，解决了 DALLE-2 在对象属性方面的困难。

    Jun, 2022

  • 通过语义扩散引导使图像合成更加可控

    该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

    Dec, 2021

  • 使用潜在扩散模型进行高保真度的图像合成引导

    本文提出了一种新的引导图像合成框架，该框架通过将输出图像建模为受约束优化问题的解决方案来解决领域偏移问题。同时，本文还展示了通过定义基于交叉注意力的输入文本符号和用户笔画之间的对应关系，用户可以在不需要任何条件训练或微调的情况下控制不同绘制区域的语义。

    Nov, 2022