本文主要探讨如何通过线性转换生成图像的特征向量来实现对生成对图像内容的语义控制,并提出了两种基于语义的图像编辑方法:语义条件采样和语义图像编辑。
Apr, 2021
使用条件生成对抗网络(conditional GANs)从语义标签图中合成高分辨率照片般真实的图像,并通过使用新的对抗性损失、多尺度生成器和鉴别器体系结构,生成 2048x1024 的视觉吸引力结果。此外,我们将我们的框架扩展到与两个额外功能的交互式视觉操作,它们是:将对象实例分割信息整合进去以进行对象操作(如删除 / 添加对象和更改对象类别),以及提出一种方法,可以在给定相同输入的情况下,生成不同的结果,允许用户交互式地编辑对象外观。人的意见研究表明,我们的方法在深层图像合成和编辑方面的质量和分辨率方面都显着优于现有方法。
Nov, 2017
通过提出一种语义信息导向的生成对抗网络 SeCGAN,可无需指定目标语义掩码的情况下,利用语义信息进行人脸图像编辑,从而在保持质量指标的前提下,在 CelebA 和 CelebA-HQ 上生成具有更准确属性的面部图像,优于竞争基线项。
Nov, 2021
本文提出一种简单而有效的方法来实现一致性视频编辑,通过优化潜在编码和预先训练的生成器,减少时间光度不一致,并在不同领域和 GAN 逆推技术上得到了有利的结果。
Jun, 2022
本文研究如何扩展 GAN 模型可达到的视觉效果,通过在生成器参数空间中探索方向,发现了许多可解释性方向,这是非常重要的,因为这些方向可以用于语义操作,这些操作无法通过转换潜在的向量代码实现。
Nov, 2020
通过在中间的潜空间使用具有空间维度的调制替换 AdaIN,我们提出了 StyleMapGAN,它使得通过编码器的嵌入比现有基于优化方法更加准确,同时保持 GAN 的属性。实验结果表明,我们的方法在各种图像操作任务中显著优于最先进的模型。
本文提出了一种对物体进行语义操纵的新的生成对抗网络方法,使用对比对抗目标而不是直接将合成样本接近目标数据,以生成具有高可视度和合理的对象语义的操作结果,并在多个语义操作任务上展示了我们的模型的优越性。
Aug, 2017
本文通过使用由 GANs 学习得到的图像先验知识与个体图像的图像统计特征相结合,解决了对已有自然照片的高级属性进行操控的问题,提出了一种准确重构并合成新内容且能够保持输入图像特征的交互式系统,并在多个语义图像编辑任务上展示了方法的有效性。
May, 2020
本研究提出了一种新的控制图像属性的编辑方法,通过学习多种属性变换和应用内容损失和对抗损失来实现单一和多属性的编辑,并保留图像身份和真实感。此外,提出了客观评价标准以衡量模型性能,结果表明该模型在目标图像操作方面达到了最先进水平。
Feb, 2021
本文利用平滑变形场学习如何进行语义图像编辑,并应用生成对抗网络的最新进展使模型能够使用不成对的数据进行训练,实现了高分辨率(4K 图像)的人脸编辑。同时,还展示了在 Cub200 鸟类数据集上进行的高质量图像编辑结果,并且采用的方法更好地保留了原始图片中主体的信息。
Nov, 2018