本文通过使用由 GANs 学习得到的图像先验知识与个体图像的图像统计特征相结合,解决了对已有自然照片的高级属性进行操控的问题,提出了一种准确重构并合成新内容且能够保持输入图像特征的交互式系统,并在多个语义图像编辑任务上展示了方法的有效性。
May, 2020
使用条件生成对抗网络(conditional GANs)从语义标签图中合成高分辨率照片般真实的图像,并通过使用新的对抗性损失、多尺度生成器和鉴别器体系结构,生成 2048x1024 的视觉吸引力结果。此外,我们将我们的框架扩展到与两个额外功能的交互式视觉操作,它们是:将对象实例分割信息整合进去以进行对象操作(如删除 / 添加对象和更改对象类别),以及提出一种方法,可以在给定相同输入的情况下,生成不同的结果,允许用户交互式地编辑对象外观。人的意见研究表明,我们的方法在深层图像合成和编辑方面的质量和分辨率方面都显着优于现有方法。
Nov, 2017
本文主要探讨如何通过线性转换生成图像的特征向量来实现对生成对图像内容的语义控制,并提出了两种基于语义的图像编辑方法:语义条件采样和语义图像编辑。
Apr, 2021
提出一种新的方法 EditGAN,通过修改高分辨率部分分割掩码来实现高质量、高精度的语义图像编辑,同时利用生成对抗网络和条件潜空间优化来实现编辑。
Nov, 2021
本研究提出了一种新的方法,改进了生成对抗网络(GANs)训练的能力,可以根据文本输入合成多样的图像,这种方法基于条件版本的 GANs,扩展了前人利用判别器中的辅助任务,通过负样本采样来构造积极和消极的训练样例,通过牛津 102 花卉数据集的实验结果表明,生成的图像更具多样性,特别是当负样本逐渐靠近语义空间中的积极样本时。
Dec, 2018
提出了一种新颖的 ECGAN 用于具有挑战性的语义图像合成任务,通过使用边缘作为中间表示,并采用注意力引导的边缘传输模块进行图像生成,设计了一个有效的模块来选择性地突出显示根据原始语义布局的类依赖特征图,通过对比学习方法和多尺度对比学习方法,强化了同一语义类别的像素嵌入生成更相似的图像内容,并利用多个输入语义布局的标记像素结构来明确地探索更多的语义关系。
Jul, 2023
本文提出了基于注意力机制的生成对抗网络 AGGAN,在生成图像时使用内置的注意力机制检测最具有辨别性的语义部分并最小化不需要的部分的变化,训练过程中同时考虑对抗损失、循环一致性损失、像素损失和注意力损失,实验表明 AGGAN 比现有模型能够生成更加清晰和准确的图像。
Mar, 2019
通过提出一种语义信息导向的生成对抗网络 SeCGAN,可无需指定目标语义掩码的情况下,利用语义信息进行人脸图像编辑,从而在保持质量指标的前提下,在 CelebA 和 CelebA-HQ 上生成具有更准确属性的面部图像,优于竞争基线项。
本文提出了一种新的基于 SG-GAN 的虚拟到现实领域自适应方法,可以有效地保留关键语义信息以实现更好的识别。实验证明,与现有 GAN 相比,SG-GAN 在场景自适应方面具有更好的性能,使用 SG-GAN 适应的虚拟图像在语义分割上比原始虚拟数据明显提高。
Jan, 2018
本文提出了 ContraGAN 的方法,利用条件对比损失函数,考虑同一批次中多个图像嵌入之间的关系 (data-to-data relations) 和数据与类的关系 (data-to-class relations)。实验结果表明,ContraGAN 在 Tiny ImageNet 和 ImageNet 数据集上比现有模型分别提高了 7.3% 和 7.7% 的性能表现,并且对比学习有助于解决判别器过拟合的问题。
Jun, 2020