CVPRMar, 2023

自由式布局图像合成

PDF
TL;DR本文研究了一种名为 Freestyle LIS 的无限制生成模型，并通过引入 Rectified Cross-Attention 模块，集成语义掩码，成功实现了从具体布局以及大规模预训练文本 - 图像扩散模型中广泛的文本知识，生成现实的、灵活的布局到图像的生成结果。
layout-to-image synthesisfreestyle lispre-trained text-to-image diffusion modelsrectified cross-attentionimage generation
发现论文，激发创造
  • 可重构布局和风格的图像合成

    本文介绍一种基于布局和风格的生成对抗网络 [LostGANs] 的架构，能够从可重构的布局和风格中生成图像，实现了多物体样式生成，并在 COCO-Stuff 数据集和 Visual Genome 数据集上实现了最先进的性能。

    Aug, 2019

  • 学习可控图像合成的布局和风格可重构 GANs

    该论文提出了一种新的范例 (layout-to-mask-to-image) 来实现从给定布局生成物体掩膜的任务，给出了一种通过实例感知和布局感知归一化来实现物体掩膜水平的风格控制，使用生成对抗网络 (GANs) 在两个控制水平上进行风格控制的方法，并在 COCO-Stuff 数据集和 Visual Genome 数据集上获得了最新成果。

    Mar, 2020

  • LoCo：局部受限无训练布局到图像合成

    本文中，我们提出了一种名为 LoCo 的无需训练的布局到图像合成方法，能够通过引入局部化注意约束和填充令牌约束，对个体对象进行精确定位并防止合成对象的不良融合，并成功地集成到现有的文本到图像和布局到图像模型中，在多个基准测试中定性和定量地超越了既有的最先进的无需训练的布局到图像方法，展示了我们方法的优越性。

    Nov, 2023

  • 基于关注重心的文本到图像的合成

    本研究提出了两个新的损失函数，用于在采样过程中根据给定的布局重新聚焦注意力图，以解决在多个对象、属性和空间组合都涉及到的情况下现有文本到图像综合方法无法精确遵循文本提示的问题，并通过 Large Language Models 合成的布局在 DrawBench 和 HRS 基准测试中进行了全面实验，证明了我们提出的方法可以轻松有效地集成到现有的文本到图像方法中，并始终提高其生成图像与文本提示之间的对齐度。

    Jun, 2023

  • 推导出您的布局：从大型语言模型中归纳出用于文本到图像合成的布局模式

    利用大型语言模型作为布局生成器，改进了文本到图像生成模型，通过生成合理的对象布局来增强图像的构图和空间准确性，从而提高了图像质量。

    Nov, 2023

  • 增强的物体外观感知布局生成图像

    该研究论文提出了一种新的布局到图像生成模型，通过引入上下文感知特征变换模块和 Gram 矩阵，成功地解决了目前现有模型中存在的局限性，实现了 COCO-Thing-Stuff 和 Visual Genome 数据集上的最佳性能。

    Mar, 2021

  • LayoutDiffusion：可控的布局到图像生成扩散模型

    本文提出了一种名为 LayoutDiffusion 的扩散模型，通过构建结构图像块来解决布局与图像的多模态融合的难点，并利用 Object-aware Cross Attention 实现相对精确的分区和位置敏感的空间信息控制，实现比现有方法更高的生成质量和更高的可控性。

    Mar, 2023

  • 使用 Transformer 进行高分辨率复杂场景合成

    该论文介绍了一种基于深生成模型的图像合成方法，通过压缩和离散表示学习高频细节和纹理信息，再结合自回归转换模型生成高质量的图像。

    May, 2021

  • 面部图像合成的语义部件自动生成

    该研究提出了一种网络结构，可以自动操纵或生成图像物体类别的语义分割掩码，尤其关注人脸的形状操纵，通过嵌入类别到潜在空间并使用双向 LSTM 块和卷积解码器，可以独立地编辑每个类别的嵌入向量以输出一个新的本地操作后的掩码，这项研究结果定量和定性地表明该模型享有较高的生成多样性和控制能力。

    Jul, 2023

  • LAW-Diffusion：基于布局扩散的复杂场景生成

    通过提出一种语义可控的布局感知 (Diffusion) 模型 (LAW-Diffusion)，本研究实现了准确的复杂场景生成，通过引入空间依赖解析器来编码在对象之间的位置感知的语义一致性作为布局嵌入，并产生具有感知上和谐对象风格和语境关系的场景。

    Aug, 2023