Mar, 2024

DivCon: 渐进式文本到图像生成的分割与征服

PDF
TL;DR通过采用分割和征服方法，我们改进了传统的扩散式文本到图像生成模型，使其在多个对象和复杂的空间关系下从文本生成图像，提高了可控性和一致性。
diffusion-driven text-to-image generationlayout-based diffusion modelsnumerical and spatial reasoningdivide-and-conquer approachcontrollability and consistency
发现论文，激发创造
  • 推导出您的布局：从大型语言模型中归纳出用于文本到图像合成的布局模式

    利用大型语言模型作为布局生成器，改进了文本到图像生成模型，通过生成合理的对象布局来增强图像的构图和空间准确性，从而提高了图像质量。

    Nov, 2023

  • LayoutLLM-T2I: 从 LLM 中引导布局为文本到图像生成

    本研究提出了一种从文本提示中合成与之语义对齐的高保真度图像的方法，采用了粗到细的范式来实现布局规划和图像生成，并通过粒度不同的目标交互扩散方法以优于现有方法的方式生成布局和图像。

    Aug, 2023

  • R&B：区域和边界感知的零样本基于文本生成图像

    这篇论文研究了利用扩散模型进行零样本生成的文本到图像转换方法，提出了一种基于区域和边界感知的交叉注意力引导方法，通过渐进调节扩散模型的注意力图来生成与输入布局信息相对应的高保真度、与文本输入高度兼容、准确解释布局指令的图像。实验证明，该方法在多个基准测试上在质量和数量上均优于现有的零样本生成方法。

    Oct, 2023

  • Ranni：控制文本到图像扩散来提高精确的指令跟踪

    我们引入了一种语义面板作为中介来解码文本到图像的过程，用于支持生成器更好地遵循指示。这种面板是通过将从输入文本解析的视觉概念经由大型语言模型的辅助排列而成，然后注入到去噪网络作为详细的控制信号来补充文本条件。通过这样的设计，我们的方法 Ranni 在提高预训练的 T2I 生成器的文本可控性方面取得了进展，并引入了生成性中介，提供了一种更方便的交互形式，并允许用户根据其进行精细的生成定制，基于此我们开发了一个实用系统，并展示了其在连续生成和基于聊天的编辑中的潜力。

    Nov, 2023

  • 将几何控制融入文本 - 图像扩散模型以通过文本提示进行高质量检测数据生成

    本文提出 GeoDiffusion，一种简单的框架，可以将各种几何条件灵活地转化为文本提示，为预训练的文本到图像扩散模型赋能高质量检测数据生成，实验证明它在维护更快的训练时间的同时优于先前的 L2I 方法。

    Jun, 2023

  • Design Booster：一种注重空间布局保留的文本引导扩散模型用于图像翻译

    提出了一种通过学习感知图片布局和感知文本共同来进行灵活的图片翻译的新方法，该方法在实验中具有最佳的风格和语义图片翻译效果，并且需要的时间最短。

    Feb, 2023

  • 使用扩散模型对单张图像进行连续布局编辑

    提出了第一个框架，用于保留单个图像的视觉属性并编辑其布局，并通过文本反演和优化方法实现多对象特征的分离和布局控制，从而优于其他支持此任务的基线。

    Jun, 2023

  • 信息丰富的扩散模型的段落到图像生成

    介绍了一种信息丰富的扩散模型，名为 ParaDiffusion，用于段落到图像生成任务，通过利用大型语言模型来提升图像生成模型的语义理解能力，并在长文本语义对齐训练方面取得了优异结果。

    Nov, 2023

  • LLM 蓝图：通过复杂和详细的提示实现文本生成图像

    利用大型语言模型 (LLM) 从文本提示中提取关键组件，包括前景对象的边界框坐标、各个对象的详细文本描述和简洁的背景上下文。这些组件构成了布局到图像生成模型的基础，该模型通过两个阶段的操作实现，初步生成全局场景后，使用迭代细化方案对内容进行评估和修正，以确保与文本描述的一致性，从而在生成复杂的场景时展现出比传统扩散模型更好的召回率，经由用户研究进一步验证了我们的方法在从错综复杂的文本输入中生成连贯详细场景方面的功效。

    Oct, 2023

  • iDesigner: 高分辨率复杂提示下的文本到图像扩散模型的室内设计

    我们在设计领域收集和优化文本 - 图像数据，并在开源 CLIP 模型的基础上进行中英文训练。我们还提出了一种利用课程学习和基于 CLIP 反馈的强化学习的精细调整策略，以提高我们方法的提示追随能力，从而改善图像生成的质量。根据收集的数据集进行的实验结果表明所提出的方法的有效性，其取得了令人印象深刻的结果，并且胜过了强基准模型。

    Dec, 2023