CVPRDec, 2021

SemanticStyleGAN：学习组合生成先验进行可控图像合成和编辑

PDF
TL;DR通过训练一个生成器来分别对局部语义部分进行建模，控制不同区域的纹理并且实现更加细粒度的合成和编辑，SemanticStyleGAN 作为具有内置解缠结的通用先验模型，可以促进基于 GAN 的应用程序的发展并实现更多的下游任务。
发现论文，激发创造
  • 编辑风格：揭示 GAN 的本地语义

    本文介绍了一种基于 StyleGAN 的语义编辑方法，可以局部移植另一张图像的特征，而不需要额外的监督或复杂的操作，实现了对 GAN 图像的语义编辑，并提高了图像的真实感。

    Apr, 2020

  • 具有生成图像先验的语义照片处理

    本文通过使用由 GANs 学习得到的图像先验知识与个体图像的图像统计特征相结合，解决了对已有自然照片的高级属性进行操控的问题，提出了一种准确重构并合成新内容且能够保持输入图像特征的交互式系统，并在多个语义图像编辑任务上展示了方法的有效性。

    May, 2020

  • 风格干预：如何通过基于风格的生成器实现空间脱耦？

    本研究探索了利用预训练的基于样式生成器的 “样式空间” 控制本地翻译的可能性。提出了一种名为 “Style Intervention” 的轻量级优化算法，用于在高分辨率图像上进行面部属性编辑，证明了其在视觉和定量结果上的有效性，表现优于现有的基准。

    Nov, 2020

  • Urban-StyleGAN: 学习生成和操作城市场景的图像

    通过新型神经网络 Urban-StyleGAN，使用分组策略和无监督潜在空间探索算法，实现了更好的城市场景生成和内容控制。

    May, 2023

  • 弱监督图像生成中的风格和语义控制

    我们提出了一种弱监督方法，实现复杂场景下的有条件图像生成，在该方法中，用户可以对场景中出现的对象进行精细控制。我们利用稀疏语义地图来控制对象的形状和类别，以及文本描述或属性来控制局部和全局风格，同时引入语义注意力模块来支持文本描述的条件，该模块的计算成本与图像分辨率无关。为了进一步增强场景的可控性，我们提出了一个两步生成方案来分解背景和前景。我们使用大词汇目标检测器产生的标签地图来训练模型，这使我们能够访问未注释的数据，并提供结构化实例信息。在这样的设置下，我们报告了比全监督设置更好的 FID 得分。我们还展示了我们的模型在 COCO 和 Visual Genome 等复杂数据集上操作场景的能力。

    Dec, 2019

  • 深度生成表示中出现了场景生成的语义层次结构

    本研究说明了 State-of-the-art GAN 模型中，高度结构化的语义层次结构从生成性表示中出现作为变化因素，并证明了 GANs 学习到的生成性表示是专门用于合成不同的层次语义。

    Nov, 2019

  • MyStyle++: 可控的个性化生成先验

    本文提出了一种个性化生成先验的方法，该方法可以显式地控制一组属性。我们在 MyStyle 的基础上构建，提出了一个新的优化系统，该系统对潜在空间进行组织，并提出一种损失，使其沿着一组特定方向对应于其属性的潜在代码。我们展示了我们的方法可以合成，编辑和增强个人图像，并对属性具有很好的控制，同时保留该个人的独特面部特征。

    Jun, 2023

  • StyleGAN 架构、方法与应用的最新技术

    本文介绍了 GANs 和 StyleGAN，讨论了其在图像合成和潜在空间方面的应用和研究趋势，强调了其生成图像编码的潜力和限制，以及视觉先验的构建和使用，同时指出了任务和目标特定的研究方向。

    Feb, 2022

  • 生成对抗网络中的线性语义

    本文主要探讨如何通过线性转换生成图像的特征向量来实现对生成对图像内容的语义控制，并提出了两种基于语义的图像编辑方法：语义条件采样和语义图像编辑。

    Apr, 2021

  • CTGAN：3D 形状的语义引导条件纹理生成器

    本研究提出了基于语义指导的条件纹理生成器（CTGAN），用于生成具有与视角一致且尊重形状语义的高质量 3D 纹理，通过精细操作潜在编码实现对生成纹理的风格和结构的显式控制，并通过输入分割进一步增强对纹理结构的控制，实验证明 CTGAN 在多个质量评估指标上优于现有的方法，并在有条件和无条件场景下实现了最先进的纹理生成性能。

    Feb, 2024