CVPRMar, 2022

通过全景布局生成交互式图像合成

PDF
TL;DR本文提出了 Panoptic Layout Generative Adversarial Networks（PLGAN）来解决交互式场景中实现真实感的假图像生成难题，该方法使用 panoptic 理论根据物体的形状判断物体种类，将 stuff 和 instance 布局分别构建后再融合为 panoptic 布局，实验结果表明 PLGAN 具有明显优势。
interactive image synthesislayout-based image synthesispanoptic layout generative adversarial networksstuff layoutsinstance layouts
发现论文，激发创造
  • 学习可控图像合成的布局和风格可重构 GANs

    该论文提出了一种新的范例 (layout-to-mask-to-image) 来实现从给定布局生成物体掩膜的任务，给出了一种通过实例感知和布局感知归一化来实现物体掩膜水平的风格控制，使用生成对抗网络 (GANs) 在两个控制水平上进行风格控制的方法，并在 COCO-Stuff 数据集和 Visual Genome 数据集上获得了最新成果。

    Mar, 2020

  • 可重构布局和风格的图像合成

    本文介绍一种基于布局和风格的生成对抗网络 [LostGANs] 的架构，能够从可重构的布局和风格中生成图像，实现了多物体样式生成，并在 COCO-Stuff 数据集和 Visual Genome 数据集上实现了最先进的性能。

    Aug, 2019

  • 基于全景视角的图像合成

    提出一种基于全景图的图像合成网络，通过有效地利用全景图在卷积和上采样层来生成高保真的图像，解决了在复杂环境下多个实例互相遮挡的问题，并且在均值 IoU 和 DetAP 等指标上优于之前的最新技术方法。

    Apr, 2020

  • 面向视觉文本呈现设计的组合感知图形布局生成对抗网络

    本文提出了一种基于图像元素的深度生成模型 CGL-GAN，并设计了域对齐模块 DAM 来缩小训练和测试输入之间的差距，进而生成符合美感直觉的高质量图形布局。

    Apr, 2022

  • 从布局生成物体中心的图像

    本文提出了一种基于 Object-Centric GAN 的图像生成方法，使用 Scene-Graph Similarity Module 学习场景中物体之间的关系，并在生成器的条件机制上进行了改进，通过实验证明了该方法在生成多物体场景图像的质量和准确性方面的优势。

    Mar, 2020

  • LayoutGAN: 使用线框判别器生成图形布局

    通过建立 LayoutGAN 生成对抗网络，用于建模不同类型的 2D 元素之间的几何关系以合成各种现实布局，同时采用自注意力机制和可微分线框图渲染层进行实现。验证实验包括 MNIST 数字生成、文档布局生成、剪纸抽象场景生成和七巧板图形设计。

    Jan, 2019

  • BachGAN: 从显著物体布局高分辨率合成图像

    本文引入了一项新任务，目的是从显著性物体布局中生成高分辨率图像。为此，提出了一种名为 BachGAN 的背景幻觉生成对抗网络，通过选择候选池中的分割图，融合相应的背景后，动态地生成幻觉背景。实验结果表明 BachGAN 在像素保真度和视觉对齐性方面优于现有方法。

    Mar, 2020

  • 增强的物体外观感知布局生成图像

    该研究论文提出了一种新的布局到图像生成模型，通过引入上下文感知特征变换模块和 Gram 矩阵，成功地解决了目前现有模型中存在的局限性，实现了 COCO-Thing-Stuff 和 Visual Genome 数据集上的最佳性能。

    Mar, 2021

  • 语义调色板：使用类别比例引导场景生成

    该研究提出使用基于类比的语义控制生成城市场景的方法，并证明该方法在各项指标和城市场景基准测试中优于现有基线。 此外，作者还证明了用于数据增强的实用性。

    Jun, 2021

  • iPLAN: 交互式和程序化布局规划

    iPLAN 是一种新的人在环路生成模型，结合了自动生成布局和人工设计，通过在整个过程中与设计师互动，使人类和人工智能逐步共同发展模糊的想法成为最终设计，其拥有在面对未见过的设计任务和有限的训练数据时，产生类似于人类设计师布局的高保真度、接受设计师输入并相应地提供设计建议的强大灵活性和通用性。

    Mar, 2022