Mar, 2020

学习可控图像合成的布局和风格可重构 GANs

PDF
TL;DR该论文提出了一种新的范例 (layout-to-mask-to-image) 来实现从给定布局生成物体掩膜的任务，给出了一种通过实例感知和布局感知归一化来实现物体掩膜水平的风格控制，使用生成对抗网络 (GANs) 在两个控制水平上进行风格控制的方法，并在 COCO-Stuff 数据集和 Visual Genome 数据集上获得了最新成果。
发现论文，激发创造
  • 可重构布局和风格的图像合成

    本文介绍一种基于布局和风格的生成对抗网络 [LostGANs] 的架构，能够从可重构的布局和风格中生成图像，实现了多物体样式生成，并在 COCO-Stuff 数据集和 Visual Genome 数据集上实现了最先进的性能。

    Aug, 2019

  • AttrLostGAN：基于可重构布局和样式的属性控制图像合成

    本文提出了一种从布局生成图像的方法，可以对单个对象的出现进行属性控制，从而提高对多个对象场景的建模。

    Mar, 2021

  • 面向视觉文本呈现设计的组合感知图形布局生成对抗网络

    本文提出了一种基于图像元素的深度生成模型 CGL-GAN，并设计了域对齐模块 DAM 来缩小训练和测试输入之间的差距，进而生成符合美感直觉的高质量图形布局。

    Apr, 2022

  • 通过全景布局生成交互式图像合成

    本文提出了 Panoptic Layout Generative Adversarial Networks（PLGAN）来解决交互式场景中实现真实感的假图像生成难题，该方法使用 panoptic 理论根据物体的形状判断物体种类，将 stuff 和 instance 布局分别构建后再融合为 panoptic 布局，实验结果表明 PLGAN 具有明显优势。

    Mar, 2022

  • 基于版面的图像生成

    Layout2Im 是一种基于布局的图像生成方法，将物体表示分解为指定和不确定部分，并使用卷积 LSTM 编码并解码整个布局，以生成准确且多样化的图像，提高了最佳 Inception 分数 24.66％至 28.57％。

    Nov, 2018

  • 利用生成对抗网络在本地控制图像生成来装饰你自己的卧室

    本文提出一种能够支持 GAN 生成图像的局部编辑的有效方法，称为 LoGAN，利用内容调制，风格调制与优先级掩码来精确控制生成特征，在卧室合成等实验中展示了局部编辑图像的巨大潜力，可为多功能图像编辑提供模板。

    May, 2021

  • 使用 Transformer 进行高分辨率复杂场景合成

    该论文介绍了一种基于深生成模型的图像合成方法，通过压缩和离散表示学习高频细节和纹理信息，再结合自回归转换模型生成高质量的图像。

    May, 2021

  • 学习预测布局到图像的条件卷积，用于语义图像合成

    通过在生成器中条件化卷积核以更好地利用语义布局，提出一种特征金字塔语义嵌入判别器的多尺度生成对抗网络方法，该方法在各种语义分割数据集上实现了优秀的量化指标和主观评估。

    Oct, 2019

  • BachGAN: 从显著物体布局高分辨率合成图像

    本文引入了一项新任务，目的是从显著性物体布局中生成高分辨率图像。为此，提出了一种名为 BachGAN 的背景幻觉生成对抗网络，通过选择候选池中的分割图，融合相应的背景后，动态地生成幻觉背景。实验结果表明 BachGAN 在像素保真度和视觉对齐性方面优于现有方法。

    Mar, 2020

  • 风格干预：如何通过基于风格的生成器实现空间脱耦？

    本研究探索了利用预训练的基于样式生成器的 “样式空间” 控制本地翻译的可能性。提出了一种名为 “Style Intervention” 的轻量级优化算法，用于在高分辨率图像上进行面部属性编辑，证明了其在视觉和定量结果上的有效性，表现优于现有的基准。

    Nov, 2020