使用条件生成对抗网络实现基于语言的图像编辑的双线性表示
本文对条件生成对抗网络进行研究和评估,采用编码器来反向映射 cGAN,可重建和修改真实图像,这种结合方式被称为可逆 cGAN,可对真实图像进行复杂的确定性修改。
Nov, 2016
该研究旨在通过使用基于条件生成对抗网络(CGAN)的新框架来提高图像字幕生成的自然性和多样性,其中一个生成器可以根据图像生成描述,并使用一个评估器来评估描述与视觉内容的匹配程度。
Mar, 2017
该研究介绍了一种名为RoCGAN的新型条件GAN模型,该模型在图像生成的任务中表现优异,并在面临严重噪声的情况下使生成器输出的图像更接近目标空间,实验结果表明,RoCGAN在各种领域的表现都远优于现有的最先进的cGAN架构。
May, 2018
这篇论文提出了一种简单而高效的方法来解决条件生成式对抗网络(cGAN)中的模式崩塌问题,它通过显式地规范化生成器以产生不同的输出来控制可变因素,从而在视觉质量和多样性之间实现平衡,这种方法在图像翻译、图像修补、未来预测等多个条件生成任务中取得了出色的效果。
Jan, 2019
本文提出了一种称为条件卷积层的卷积神经网络方法,该方法通过不同的权重生成不同的特征图,并通过简单而有效的方法进行条件调整,从而可以更有效地处理条件特征,金实验结果表明,使用提出的条件卷积层的生成模型可以比使用标准卷积层更好地生成类别相关的图像。
Jun, 2019
本论文提出了一种新的生成对抗网络(PC-GAN),利用成对比较的弱监督来进行图像属性编辑,通过贝叶斯不确定性估计和抗噪声的对抗训练,PC-GAN可以有效地估计属性评分,并在噪声抗性方面表现出出色的性能。在大量实验证明,PC-GAN与完全监督方法性能相当且优于无监督基线。
Nov, 2019
提出了一种单一的文本到图像生成和操纵的流程,其中在我们的流程的第一部分,介绍了 TextStyleGAN 这个在文本上进行训练的模型;第二部分使用预训练的 TextStyleGAN 权重进行语义面部图像操纵,并通过在潜空间中找到语义方向来完成。我们展示了该方法可以用于广泛的面部图像属性操纵,并介绍了 CelebTD-HQ 数据集作为 CelebA-HQ 的扩展,其中包含了人脸及相应的文本描述。
May, 2020
本文研究如何扩展GAN模型可达到的视觉效果,通过在生成器参数空间中探索方向,发现了许多可解释性方向,这是非常重要的,因为这些方向可以用于语义操作,这些操作无法通过转换潜在的向量代码实现。
Nov, 2020
提出一种新的方法 EditGAN,通过修改高分辨率部分分割掩码来实现高质量、高精度的语义图像编辑,同时利用生成对抗网络和条件潜空间优化来实现编辑。
Nov, 2021
本文提出了一种新颖的端到端3D感知图像生成和编辑模型,通过纯噪声、文本和参考图像等多种条件输入,在3D生成对抗网络(GANs)的潜在空间中深入研究并提出解缠特性较好的生成策略,同时采用统一框架进行灵活的图像生成和编辑任务,实现多模态条件下的多样图像生成、属性编辑和风格迁移。广泛实验证明,该方法在图像生成和编辑方面在质量和数量上均优于替代方法。
Mar, 2024