CVPRMar, 2020

BachGAN: 从显著物体布局高分辨率合成图像

PDF
TL;DR本文引入了一项新任务，目的是从显著性物体布局中生成高分辨率图像。为此，提出了一种名为 BachGAN 的背景幻觉生成对抗网络，通过选择候选池中的分割图，融合相应的背景后，动态地生成幻觉背景。实验结果表明 BachGAN 在像素保真度和视觉对齐性方面优于现有方法。
image generationsalient object layouthigh-resolution imagesbackground hallucinationgan
发现论文，激发创造
  • 从改进的层次 GAN 中学习前景 - 背景分割

    提出了一种自动合成图像和分割掩模的方法，利用生成式对抗网络学习将图像分解成前景和背景层，生成高质量数据集并用于训练前景 - 背景分割网络，同时使用前景背景分割网络稳定分层 GAN 的训练。实验证明其生成质量和分割性能与相关方法相似。

    Apr, 2021

  • 学习可控图像合成的布局和风格可重构 GANs

    该论文提出了一种新的范例 (layout-to-mask-to-image) 来实现从给定布局生成物体掩膜的任务，给出了一种通过实例感知和布局感知归一化来实现物体掩膜水平的风格控制，使用生成对抗网络 (GANs) 在两个控制水平上进行风格控制的方法，并在 COCO-Stuff 数据集和 Visual Genome 数据集上获得了最新成果。

    Mar, 2020

  • 基于有条件的 GAN 的高分辨率图像合成和语义操作

    使用条件生成对抗网络（conditional GANs）从语义标签图中合成高分辨率照片般真实的图像，并通过使用新的对抗性损失、多尺度生成器和鉴别器体系结构，生成 2048x1024 的视觉吸引力结果。此外，我们将我们的框架扩展到与两个额外功能的交互式视觉操作，它们是：将对象实例分割信息整合进去以进行对象操作（如删除 / 添加对象和更改对象类别），以及提出一种方法，可以在给定相同输入的情况下，生成不同的结果，允许用户交互式地编辑对象外观。人的意见研究表明，我们的方法在深层图像合成和编辑方面的质量和分辨率方面都显着优于现有方法。

    Nov, 2017

  • 通过全景布局生成交互式图像合成

    本文提出了 Panoptic Layout Generative Adversarial Networks（PLGAN）来解决交互式场景中实现真实感的假图像生成难题，该方法使用 panoptic 理论根据物体的形状判断物体种类，将 stuff 和 instance 布局分别构建后再融合为 panoptic 布局，实验结果表明 PLGAN 具有明显优势。

    Mar, 2022

  • 面向视觉文本呈现设计的组合感知图形布局生成对抗网络

    本文提出了一种基于图像元素的深度生成模型 CGL-GAN，并设计了域对齐模块 DAM 来缩小训练和测试输入之间的差距，进而生成符合美感直觉的高质量图形布局。

    Apr, 2022

  • 通过对抗训练实现基于物体的文本到图像合成

    本文提出了一种基于对物体的关注的生成对抗网络，可用于复杂场景的文本到图像合成，该网络生成器长注重于文本描述中最相关的单词和预生成的语义布局，以合成显著物体，同时提出了一种快速区域卷积神经网络（Fast R-CNN）的新技术，以提供丰富的针对对象的区分信号，判断生成的物体与文本描述和预生成布局是否匹配。该提出的 Obj-GAN 在大规模 COCO 基准测试中表现出色，提高了 27％的 Inception 分数并降低了 11％的 FID 分数。通过分析它们的机制和可视化他们的注意层，提供了传统网格注意和新型对象驱动注意之间的全面比较，展示了本模型如何高质量地生成复杂场景的见解。

    Feb, 2019

  • ILSGAN: 无监督前景 - 背景分割的独立层合成

    采用独立层合成 GAN (ILSGAN) 的显式独立建模方法，以避免信息泄漏，从而在复杂的实际环境下实现强大的前景 - 背景分割性能，并取得了最先进的生成质量和分割性能。

    Nov, 2022

  • 图像生成的空间融合生成对抗网络

    该论文提出了一种创新的空间融合 GAN（SF-GAN），它结合了几何合成器和外观合成器，以在几何和外观空间中实现综合的逼真性。两个综合器彼此相互连接，可以进行端到端训练，无需监督。SF-GAN 已在两个任务中进行了评估，定性和定量比较证明了该方法的优越性。

    Dec, 2018

  • 使用 Transformer 进行高分辨率复杂场景合成

    该论文介绍了一种基于深生成模型的图像合成方法，通过压缩和离散表示学习高频细节和纹理信息，再结合自回归转换模型生成高质量的图像。

    May, 2021

  • 基于显著性引导的样本幻觉小样学习

    该研究使用显著性图提出了一种新颖的、低成本的数据增强方法，借此在数据稀缺情况下改进少样本学习的性能，并且在公共数据集上实现了最新的技术水平。

    Apr, 2019