May, 2021

利用生成对抗网络在本地控制图像生成来装饰你自己的卧室

PDF
TL;DR本文提出一种能够支持 GAN 生成图像的局部编辑的有效方法，称为 LoGAN，利用内容调制，风格调制与优先级掩码来精确控制生成特征，在卧室合成等实验中展示了局部编辑图像的巨大潜力，可为多功能图像编辑提供模板。
generative adversarial networksgansimage synthesisloganlocal editing
发现论文，激发创造
  • 通过潜空间导航的可控 GAN 用于图像编辑

    本研究提出了一种新的控制图像属性的编辑方法，通过学习多种属性变换和应用内容损失和对抗损失来实现单一和多属性的编辑，并保留图像身份和真实感。此外，提出了客观评价标准以衡量模型性能，结果表明该模型在目标图像操作方面达到了最先进水平。

    Feb, 2021

  • GAN 中潜在空间维度的利用，用于实时图像编辑

    通过在中间的潜空间使用具有空间维度的调制替换 AdaIN，我们提出了 StyleMapGAN，它使得通过编码器的嵌入比现有基于优化方法更加准确，同时保持 GAN 的属性。实验结果表明，我们的方法在各种图像操作任务中显著优于最先进的模型。

    Apr, 2021

  • 编辑风格：揭示 GAN 的本地语义

    本文介绍了一种基于 StyleGAN 的语义编辑方法，可以局部移植另一张图像的特征，而不需要额外的监督或复杂的操作，实现了对 GAN 图像的语义编辑，并提高了图像的真实感。

    Apr, 2020

  • GAN 参数空间的语义图像编辑导航

    本文研究如何扩展 GAN 模型可达到的视觉效果，通过在生成器参数空间中探索方向，发现了许多可解释性方向，这是非常重要的，因为这些方向可以用于语义操作，这些操作无法通过转换潜在的向量代码实现。

    Nov, 2020

  • 风格干预：如何通过基于风格的生成器实现空间脱耦？

    本研究探索了利用预训练的基于样式生成器的 “样式空间” 控制本地翻译的可能性。提出了一种名为 “Style Intervention” 的轻量级优化算法，用于在高分辨率图像上进行面部属性编辑，证明了其在视觉和定量结果上的有效性，表现优于现有的基准。

    Nov, 2020

  • 学习何时何地绘制

    Generative Adversarial Networks 已经在绘制逼真的世界图片方面展现了相当可观的能力，现有的模型可以根据类别标签或标题等全局限制生成图像，但不能控制姿势或对象位置，本文提出了一种新的模型 ——Generative Adversarial What-Where Network，它能根据所描述的内容和位置进行图像综合，并在 Caltech-UCSD Birds 数据集上展示了高质量的 128 x 128 图片综合，还可以控制鸟周围的边界框及其组成部分，通过模拟条件分布，我们的系统还能够使各个部分进行控制，同时展示了在 MPII Human Pose 数据集的关于人体动作图像的文本与位置可控合成的初步结果。

    Oct, 2016

  • 使用生成对抗网络学习生成椅子

    本文探讨了使用生成对抗网络 (GAN) 合成高度逼真图像的优化问题，针对当下模型存在的问题，提出了一种修改规则和设计模型的方法。实验表明，我们的方法可以更有效地训练 GAN 模型，并以 3D 物体投影问题为例进行了验证。

    May, 2017

  • 可控的文本到图像生成

    该论文提出了一种新颖的可控文本到图像生成对抗网络 (ControlGAN)，它能够有效地合成高质量图像并根据自然语言描述控制图像的生成。该方法采用词级空间和通道注意力机制对不同的视觉属性进行分离，并通过词级鉴别器提供细粒度的监督反馈，使生成器能够对特定的视觉属性进行操作。通过大量的实验证明，我们的方法优于现有的最先进技术，并能够通过自然语言描述有效地操作合成图像。

    Sep, 2019

  • 学习可控图像合成的布局和风格可重构 GANs

    该论文提出了一种新的范例 (layout-to-mask-to-image) 来实现从给定布局生成物体掩膜的任务，给出了一种通过实例感知和布局感知归一化来实现物体掩膜水平的风格控制，使用生成对抗网络 (GANs) 在两个控制水平上进行风格控制的方法，并在 COCO-Stuff 数据集和 Visual Genome 数据集上获得了最新成果。

    Mar, 2020

  • 用户指定内容的条件图像生成与操作

    提出了一种单一的文本到图像生成和操纵的流程，其中在我们的流程的第一部分，介绍了 TextStyleGAN 这个在文本上进行训练的模型；第二部分使用预训练的 TextStyleGAN 权重进行语义面部图像操纵，并通过在潜空间中找到语义方向来完成。我们展示了该方法可以用于广泛的面部图像属性操纵，并介绍了 CelebTD-HQ 数据集作为 CelebA-HQ 的扩展，其中包含了人脸及相应的文本描述。

    May, 2020