ECCVJul, 2022

VecGAN: 可解释的潜在方向图像转换

PDF
TL;DR本文提出了 VecGAN 这样一个图像对图像的转换框架，它针对面部特征进行属性编辑，利用可解释的潜在方向解决精确属性编辑的挑战，并实现了对于其他图像属性的保全。该框架可以通过采样或项目编码从参考图像中获取标量值，整个模型通过端到端的训练，可以实现全局和局部修改，相较于现有技术取得了更好的效果。
image-to-image translationfacial attribute editinginterpretable latent directionscontrollable strengthend-to-end training
发现论文，激发创造
  • 通过潜空间导航的可控 GAN 用于图像编辑

    本研究提出了一种新的控制图像属性的编辑方法，通过学习多种属性变换和应用内容损失和对抗损失来实现单一和多属性的编辑，并保留图像身份和真实感。此外，提出了客观评价标准以衡量模型性能，结果表明该模型在目标图像操作方面达到了最先进水平。

    Feb, 2021

  • TraVeLGAN: 通过变换向量学习进行图像到图像的翻译

    介绍了一种基于 GAN 的全新图像到图像翻译方法，其中使用同层网络的潜在空间来保留图像内变换，不再需要约束生成器的循环一致性限制，实现了对高级形状和语境等更复杂领域的转换。

    Feb, 2019

  • 基于 GAN 的潜空间在人脸语义编辑中的应用解释

    本文提出了一个名为 InterFaceGAN 的新框架，用于解释 GAN 学习到的语义面部编辑，并深入研究不同语义如何编码在 GAN 的潜在空间中。我们发现，精心训练的生成模型的潜在编码实际上学习了一个分离的表示，在线性变换后解旋，通过子空间投影来解开某些绑定属性，实现更精确的面部特征控制，并产生可控的面部属性表示的结果表明 GAN 具有生成高保真图像的能力。

    Jul, 2019

  • 通过实例感知潜空间搜索进行分离的面部属性编辑

    本文提出了一种新的框架 (IALS)，它利用来自一组对输入图像评估的属性分类器的监督来注入实例信息，通过执行实例感知潜空间搜索来找到解耦属性编辑的语义方向，并提出了一种 “DT” 度量来量化属性转换和解耦功效，并基于它找到属性级和实例级方向之间的最优控制因子。

    May, 2021

  • GAN 中潜在空间维度的利用，用于实时图像编辑

    通过在中间的潜空间使用具有空间维度的调制替换 AdaIN，我们提出了 StyleMapGAN，它使得通过编码器的嵌入比现有基于优化方法更加准确，同时保持 GAN 的属性。实验结果表明，我们的方法在各种图像操作任务中显著优于最先进的模型。

    Apr, 2021

  • 通过连续变异因素控制生成模型

    本文提出了一种新的方法，通过找到生成模型中有意义的方向来提高生成模型潜在空间的可解释性，从而精确地控制生成图像的特定属性，如位置或比例。该方法对于搜索编码生成图像的简单变换方向（如平移，缩放或颜色变化）特别适用，并在 GAN 和变分自动编码器模型的质量和量化方面得到了证明。

    Jan, 2020

  • LARGE: 基于 GAN 语义的潜变量回归

    本文提出了一种新的利用少样本或弱监督方式解决回归任务的方法，该方法利用生成式对抗网络（GANs）的语义信息表征能力，实现了将预先训练好的 GANs 转化成回归模型的操作，并证明了其在众多数据集和领域上的高效性。

    Jul, 2021

  • 面部图像和视频的解缩聚变换器

    本研究提出通过 StyleGAN 生成器的潜在空间编辑面部属性，通过训练专门的潜在空间转换网络并在损失函数中添加显式的分离和身份保存项来控制和保护身份，并介绍了一个将面部编辑推广到视频的流程。在真实图像和视频方面表现出出色的性能。

    Jun, 2021

  • MulGAN：基于样例的人脸属性编辑

    本文中提出的基于属性标签限制的模型，可以通过在预定义的潜在特征空间中直接应用属性标签并使用属性分类损失，从图像中提取属性相关信息，以实现用于编辑多个属性的面部属性传输，同时通过设计新的模型结构来提高属性传输能力。在 CelebA 数据集上的实验结果表明，该方法有效地克服了其他方法存在的三个限制。

    Dec, 2019

  • 潜空间中拥有所有：StyleGAN 隐空间探索实现属性编辑和样式操作

    FLAME 是一种使用少量监督来进行操纵编辑方向的简单而有效的框架，可通过操纵潜在空间来实现高度可控的图像编辑。同时，还提出了属性样式操作的新任务，以生成具有不同属性样式的多样化图像。

    Jul, 2022