CVPRMar, 2021

增强的物体外观感知布局生成图像

PDF
TL;DR该研究论文提出了一种新的布局到图像生成模型，通过引入上下文感知特征变换模块和 Gram 矩阵，成功地解决了目前现有模型中存在的局限性，实现了 COCO-Thing-Stuff 和 Visual Genome 数据集上的最佳性能。
layout to image generationgenerative adversarial networkscontext-aware feature transformation modulegram matrixstate-of-the-art performance
发现论文，激发创造
  • 基于版面的图像生成

    Layout2Im 是一种基于布局的图像生成方法，将物体表示分解为指定和不确定部分，并使用卷积 LSTM 编码并解码整个布局，以生成准确且多样化的图像，提高了最佳 Inception 分数 24.66％至 28.57％。

    Nov, 2018

  • 具有上下文对象布局细化的场景图像生成

    提出了一种新的方法，通过逐步生成整个布局描述来改善物体间的依赖关系，从而生成高质量的中间布局和最终图像，提高了布局覆盖率近 20 个百分点，减少了物体之间的重叠到可忽略的程度。

    Sep, 2020

  • 可重构布局和风格的图像合成

    本文介绍一种基于布局和风格的生成对抗网络 [LostGANs] 的架构，能够从可重构的布局和风格中生成图像，实现了多物体样式生成，并在 COCO-Stuff 数据集和 Visual Genome 数据集上实现了最先进的性能。

    Aug, 2019

  • 从布局生成物体中心的图像

    本文提出了一种基于 Object-Centric GAN 的图像生成方法，使用 Scene-Graph Similarity Module 学习场景中物体之间的关系，并在生成器的条件机制上进行了改进，通过实验证明了该方法在生成多物体场景图像的质量和准确性方面的优势。

    Mar, 2020

  • 学习可控图像合成的布局和风格可重构 GANs

    该论文提出了一种新的范例 (layout-to-mask-to-image) 来实现从给定布局生成物体掩膜的任务，给出了一种通过实例感知和布局感知归一化来实现物体掩膜水平的风格控制，使用生成对抗网络 (GANs) 在两个控制水平上进行风格控制的方法，并在 COCO-Stuff 数据集和 Visual Genome 数据集上获得了最新成果。

    Mar, 2020

  • 通过全景布局生成交互式图像合成

    本文提出了 Panoptic Layout Generative Adversarial Networks（PLGAN）来解决交互式场景中实现真实感的假图像生成难题，该方法使用 panoptic 理论根据物体的形状判断物体种类，将 stuff 和 instance 布局分别构建后再融合为 panoptic 布局，实验结果表明 PLGAN 具有明显优势。

    Mar, 2022

  • 推导出您的布局：从大型语言模型中归纳出用于文本到图像合成的布局模式

    利用大型语言模型作为布局生成器，改进了文本到图像生成模型，通过生成合理的对象布局来增强图像的构图和空间准确性，从而提高了图像质量。

    Nov, 2023

  • 基于布局的属性引导图像生成

    该论文提出了一种基于属性控制的图像生成方法，该方法可以在实例级别实现对象外观的控制，并利用多种损失函数协作工作来提高生成图像的准确性、一致性和多样性，在 Visual Genome 数据集上的实验证明了该模型的能力，并证实了从布局任务中解耦对象 - 属性表示的可行性。

    Aug, 2020

  • LayoutLLM-T2I: 从 LLM 中引导布局为文本到图像生成

    本研究提出了一种从文本提示中合成与之语义对齐的高保真度图像的方法，采用了粗到细的范式来实现布局规划和图像生成，并通过粒度不同的目标交互扩散方法以优于现有方法的方式生成布局和图像。

    Aug, 2023

  • LAW-Diffusion：基于布局扩散的复杂场景生成

    通过提出一种语义可控的布局感知 (Diffusion) 模型 (LAW-Diffusion)，本研究实现了准确的复杂场景生成，通过引入空间依赖解析器来编码在对象之间的位置感知的语义一致性作为布局嵌入，并产生具有感知上和谐对象风格和语境关系的场景。

    Aug, 2023