Jun, 2023

无参考用户可控语义图像合成

PDF
TL;DR本研究提出了一种名为 RUCGAN 的模型，以单一颜色表示特定语义区域的风格，通过将颜色作为用户期望的样式注入每个语义布局，实现无参考语义图像合成，并能合成具有不寻常颜色的语义图像，其在各种具有挑战性的数据集上的实验性结果表明，该方法优于现有方法，并且我们提供了交互式用户界面，以展示我们的方法的样式可控性优势。
semantic image synthesisrucganuser controllablestyle informationreference-free
发现论文，激发创造
  • 弱监督图像生成中的风格和语义控制

    我们提出了一种弱监督方法，实现复杂场景下的有条件图像生成，在该方法中，用户可以对场景中出现的对象进行精细控制。我们利用稀疏语义地图来控制对象的形状和类别，以及文本描述或属性来控制局部和全局风格，同时引入语义注意力模块来支持文本描述的条件，该模块的计算成本与图像分辨率无关。为了进一步增强场景的可控性，我们提出了一个两步生成方案来分解背景和前景。我们使用大词汇目标检测器产生的标签地图来训练模型，这使我们能够访问未注释的数据，并提供结构化实例信息。在这样的设置下，我们报告了比全监督设置更好的 FID 得分。我们还展示了我们的模型在 COCO 和 Visual Genome 等复杂数据集上操作场景的能力。

    Dec, 2019

  • SemanticStyleGAN：学习组合生成先验进行可控图像合成和编辑

    通过训练一个生成器来分别对局部语义部分进行建模，控制不同区域的纹理并且实现更加细粒度的合成和编辑，SemanticStyleGAN 作为具有内置解缠结的通用先验模型，可以促进基于 GAN 的应用程序的发展并实现更多的下游任务。

    Dec, 2021

  • CA-GAN: 弱监督颜色感知 GAN 用于可控化妆迁移

    提出了 CA-GAN 模型，用于学习可控的妆容风格颜色合成，能够在保留背景的同时将图像特定对象（例如嘴唇或眼睛）的颜色修改为任意目标颜色，该方法利用弱监督学习进行条件 GAN 训练，无需获取稀少且昂贵的颜色标签，为复杂对象的可控合成提供一种解决方案，同时提供了妆容风格迁移和颜色控制性能的定量分析。

    Aug, 2020

  • 基于用户素描和颜色的人脸编辑生成对抗网络 SC-FEGAN

    提出了一种基于卷积网络的图像编辑系统，它可以通过自由形式的掩模，草图和颜色作为输入来生成图像，并利用自由形式的用户输入与颜色和形状结合，生成高质量的合成图像。

    Feb, 2019

  • 单目视角下的人类图像综合的风格和姿态控制

    本文提出了一种新方法，称为 StylePoseGAN，用于合成具有姿势和部位外观显式控制的照片真实感的人类图像，并能够将其用于虚拟换装、动作模仿和新视角合成等应用中。

    Feb, 2021

  • 编辑风格：揭示 GAN 的本地语义

    本文介绍了一种基于 StyleGAN 的语义编辑方法，可以局部移植另一张图像的特征，而不需要额外的监督或复杂的操作，实现了对 GAN 图像的语义编辑，并提高了图像的真实感。

    Apr, 2020

  • 语义合成图像

    提出利用语义布局来综合生成逼真图像的新方法，该方法建立了区域之间的依赖关系并通过动态加权网络实现，既保留了语义区分，同时加强了语义相关性，提高了全局结构和细节的合成质量。

    Sep, 2021

  • Urban-StyleGAN: 学习生成和操作城市场景的图像

    通过新型神经网络 Urban-StyleGAN，使用分组策略和无监督潜在空间探索算法，实现了更好的城市场景生成和内容控制。

    May, 2023

  • QC-StyleGAN -- 品质可控的图像生成与操作

    本文提出了一种新的 GAN 结构 QC-StyleGAN，可以控制生成图像的质量以及处理低质量图像，包括去噪、去模糊、去压缩等。其基于 StyleGAN 家族模型，可以实现图像剪裁、转移、插值等应用。

    Dec, 2022

  • 具有生成图像先验的语义照片处理

    本文通过使用由 GANs 学习得到的图像先验知识与个体图像的图像统计特征相结合，解决了对已有自然照片的高级属性进行操控的问题，提出了一种准确重构并合成新内容且能够保持输入图像特征的交互式系统，并在多个语义图像编辑任务上展示了方法的有效性。

    May, 2020