渐进残差对准:一种GAN反演和图像属性编辑的双流框架
本文提出了一种利用相邻图像进行逆向生成对抗网络 (GAN) 的方法,从而解决现有 GAN 逆向方法的矛盾问题,该方法在保证高保真度的同时可以保留编辑功能,能显著提高重建保真度和可编辑性,并提供了视频 GAN 逆向和无监督语义转移的有趣应用。
Jul, 2021
本研究提出了一种新颖的高保真生成对抗网络(GAN)反演框架,可以进行带有图像特定细节(例如背景、外观和照明)的属性编辑,并使用扭曲一致性咨询和自适应扭曲对齐模块来提高反演和编辑质量。
Sep, 2021
本文介绍了一种基于Transformer的图像逆转和编辑模型,用于预先训练过的StyleGAN,通过CNN编码器在多个尺度上提供图像特征作为键和值,并将样式代码视为查询,以在生成器中反转输入。无论是在逆转还是编辑任务中,该方法在StyleGAN上都取得了更好的性能表现。
Mar, 2022
本研究通过将StyleGANs的超球形先验Z和Z+集成到GAn反演方法中,实现了不牺牲图像质量的语义编辑,并用实验证明Z+能取代最常用的W、W+和S空间,同时保持重建质量,减少图像畸变。
May, 2023
本文提出了一种新的基于文本的图像编辑方法CLIPInverter,通过在预训练的GAN反演网络中集成轻量级文本适配器层,以目标描述的CLIP嵌入为条件进行初始反演步骤的条件化,通过使用CLIP引导的细化步骤来对结果残留潜在编码进行更正,从而实现了高效稳定地进行多属性更改,因此在各个领域,包括人类脸部,猫和鸟类方面,我们的方法在操作精度和真实度方面均表现优异。
Jul, 2023
利用样式生成对抗网络(StyleGAN)的潜在空间,将真实图像反转并通过语义丰富的特征表示进行多项编辑,进一步扩展到将被擦除的图像反转到GAN的潜在空间中进行逼真修复和编辑的更为困难的任务,通过将反转的潜在编码与随机样本的 StyleGAN 映射特征组合,通过训练编码器和混合网络,利用生成的数据来鼓励混合网络同时利用两个输入,并利用高速特征来防止修复部分与未被擦除部分的颜色不一致,并通过与先进的反转和修复方法进行实验和对比,定量指标和视觉比较显示出显著的改进。
Jul, 2023
提出一种新颖的图像反转架构,该架构提取高速率的潜在特征,并包含流估计模块来对这些特征进行编辑。实验证明,该方法在图像输入的逼真度和编辑质量上都取得了显著的改善。
Dec, 2023