Apr, 2024

LTOS: 布局可控的文本对象合成通过自适应交叉关注融合

PDF
TL;DR通过将文本渲染和布局到图像生成任务融合为一个任务，本文提出了一种布局可控的文本 - 对象综合 (LTOS) 任务，旨在根据预定义的对象布局和文本内容合成具有对象和视觉文本的图像。
controllable text-to-image generationlayout-controllable text-object synthesisvisual text renderingobject generationself-adaptive cross-attention fusion module
发现论文，激发创造
  • LoCo：局部受限无训练布局到图像合成

    本文中，我们提出了一种名为 LoCo 的无需训练的布局到图像合成方法，能够通过引入局部化注意约束和填充令牌约束，对个体对象进行精确定位并防止合成对象的不良融合，并成功地集成到现有的文本到图像和布局到图像模型中，在多个基准测试中定性和定量地超越了既有的最先进的无需训练的布局到图像方法，展示了我们方法的优越性。

    Nov, 2023

  • 推导出您的布局：从大型语言模型中归纳出用于文本到图像合成的布局模式

    利用大型语言模型作为布局生成器，改进了文本到图像生成模型，通过生成合理的对象布局来增强图像的构图和空间准确性，从而提高了图像质量。

    Nov, 2023

  • 基于关注重心的文本到图像的合成

    本研究提出了两个新的损失函数，用于在采样过程中根据给定的布局重新聚焦注意力图，以解决在多个对象、属性和空间组合都涉及到的情况下现有文本到图像综合方法无法精确遵循文本提示的问题，并通过 Large Language Models 合成的布局在 DrawBench 和 HRS 基准测试中进行了全面实验，证明了我们提出的方法可以轻松有效地集成到现有的文本到图像方法中，并始终提高其生成图像与文本提示之间的对齐度。

    Jun, 2023

  • AttrLostGAN：基于可重构布局和样式的属性控制图像合成

    本文提出了一种从布局生成图像的方法，可以对单个对象的出现进行属性控制，从而提高对多个对象场景的建模。

    Mar, 2021

  • OBJ2TEXT: 从物体布局生成视觉描述语言

    OBJ2TEXT 是基于 LSTM 网络的序列到序列模型，可用于抽象场景的描述生成，加入状态 - 最先进的物体探测器后可将图像的描述评分从 0.863 提升到 0.950（CIDEr score），并能有效表示物体的空间关系。

    Jul, 2017

  • 学习可控图像合成的布局和风格可重构 GANs

    该论文提出了一种新的范例 (layout-to-mask-to-image) 来实现从给定布局生成物体掩膜的任务，给出了一种通过实例感知和布局感知归一化来实现物体掩膜水平的风格控制，使用生成对抗网络 (GANs) 在两个控制水平上进行风格控制的方法，并在 COCO-Stuff 数据集和 Visual Genome 数据集上获得了最新成果。

    Mar, 2020

  • 内容感知布局推断的美学文本标志合成

    本文介绍了一种基于内容感知布局生成网络的方法，将字形图像和对应文本作为输入，自动生成美观的排版布局。在设计中融合了语言学和视觉语义信息，同时训练和评估了文本 Logo3K 数据集，验证了其在合成视觉上令人愉悦的文本 Logo 方面的优越性。

    Apr, 2022

  • 无需训练的位置感知文本到图像合成

    本文提出了一种新的交互式图像生成方案，以定位细粒度为目标，评价了生成模型控制位置的能力，并在图像质量和控制能力方面均表现出超过最先进方法的效果。

    Apr, 2023

  • 层次化文本图像合成的语义布局推断

    本文提出一种新的基于语义布局的文本到图像的分层方法，通过语义布局生成器和图像生成器将生成过程分解为多个步骤完成，能够提高图像质量和与输入文本的语义对齐性。

    Jan, 2018

  • LayoutLLM-T2I: 从 LLM 中引导布局为文本到图像生成

    本研究提出了一种从文本提示中合成与之语义对齐的高保真度图像的方法，采用了粗到细的范式来实现布局规划和图像生成，并通过粒度不同的目标交互扩散方法以优于现有方法的方式生成布局和图像。

    Aug, 2023