Oct, 2023

训练的潜在空间导航：在基于样式的模型生成的图像中预防缺乏逼真感

PDF
TL;DR本文介绍了一种简单的无监督方法，用于提供训练良好的局部潜在子空间，使得通过潜在编码的导航能够保持生成图像的真实感。实验证明，在局部潜在子空间内生成的图像能够在潜在编码反复调整的情况下保持真实感，并且这种方法对各种类型的基于风格的模型中的潜在编码优化都具有应用潜力。
stylegan variantslatent codesphotorealismlatent spacelocal latent subspace
发现论文，激发创造
  • 改进版 StyleGAN 嵌入：好的潜空间在哪里？

    本研究提出了一种基于 StyleGAN 的图像嵌入算法，通过引入新的标准化空间来分析重建潜码的多样性和质量，使用基于分析结果的正则化方法来提高嵌入算法的性能，实现了重建质量与编辑质量的更好平衡。

    Dec, 2020

  • 利用高斯化的潜空间改善 StyleGAN 中的反演和生成多样性

    本文研究了生成式对抗网络中的潜在向量空间中数据分布模型，提出了一个简单的高斯先验模型，用于规范图像向潜在空间的映射，这样生成的图像更加平滑和稳定，同时维持多样性和减少生成图像中的伪像。

    Sep, 2020

  • 风格干预：如何通过基于风格的生成器实现空间脱耦？

    本研究探索了利用预训练的基于样式生成器的 “样式空间” 控制本地翻译的可能性。提出了一种名为 “Style Intervention” 的轻量级优化算法，用于在高分辨率图像上进行面部属性编辑，证明了其在视觉和定量结果上的有效性，表现优于现有的基准。

    Nov, 2020

  • GAN 中潜在空间维度的利用，用于实时图像编辑

    通过在中间的潜空间使用具有空间维度的调制替换 AdaIN，我们提出了 StyleMapGAN，它使得通过编码器的嵌入比现有基于优化方法更加准确，同时保持 GAN 的属性。实验结果表明，我们的方法在各种图像操作任务中显著优于最先进的模型。

    Apr, 2021

  • 通过连续变异因素控制生成模型

    本文提出了一种新的方法，通过找到生成模型中有意义的方向来提高生成模型潜在空间的可解释性，从而精确地控制生成图像的特定属性，如位置或比例。该方法对于搜索编码生成图像的简单变换方向（如平移，缩放或颜色变化）特别适用，并在 GAN 和变分自动编码器模型的质量和量化方面得到了证明。

    Jan, 2020

  • Urban-StyleGAN: 学习生成和操作城市场景的图像

    通过新型神经网络 Urban-StyleGAN，使用分组策略和无监督潜在空间探索算法，实现了更好的城市场景生成和内容控制。

    May, 2023

  • 超分辨率通过 StyleGAN 规范化潜变量搜索：现实感 - 保真度权衡

    通过扩展图像先验并利用潜在空间进行图像重建，本研究旨在实现超分辨率任务中的高保真度和真实感之间的良好平衡。

    Nov, 2023

  • GAN 中的低秩子空间

    使用低秩矩阵分解的方法可以更好地控制 GAN 生成的图像特征，同时局部的图像编辑控制可以通过该方法实现。

    Jun, 2021

  • 基于 GAN 的潜空间在人脸语义编辑中的应用解释

    本文提出了一个名为 InterFaceGAN 的新框架，用于解释 GAN 学习到的语义面部编辑，并深入研究不同语义如何编码在 GAN 的潜在空间中。我们发现，精心训练的生成模型的潜在编码实际上学习了一个分离的表示，在线性变换后解旋，通过子空间投影来解开某些绑定属性，实现更精确的面部特征控制，并产生可控的面部属性表示的结果表明 GAN 具有生成高保真图像的能力。

    Jul, 2019

  • 为 StyleGAN 图像操作设计编码器

    本文研究 StyleGAN 的潜在空间，提出了两个设计编码器的原则，以平衡畸变 - 可操作性和畸变 - 知觉的权衡，从而为真实图片的编辑提供了更好的方法。

    Feb, 2021