Nov, 2020

StyleSpace分析：StyleGAN图像生成的解耦控制

HTML
PDF
TL;DR通过对预先训练在多个数据集上的模型进行分析，本文探讨和分析了StyleGAN2的潜在样式空间，发现StyleSpace的通道式样式参数空间显著比前人的其他中间潜变空间更具解开性，提出了一种通过StyleSpace控制实现更好的视觉属性解开性的方法，最终展示了应用StyleSpace控制实现对真实图像的操作，为通过简单而直观的接口实现具有语义意义的、良好解开的图像操作铺平了道路。
发现论文，激发创造
  • Image2StyleGAN：如何将图像嵌入到StyleGAN的潜空间中？

    我们提出了一种高效的图像嵌入算法，通过将图像嵌入StyleGAN的潜在空间，实现了可以应用于现有照片的语义图像编辑操作，从而得出了关于探究StyleGAN潜在空间结构的有价值洞见，并提出一系列实验来测试嵌入哪些图像类别、如何嵌入、哪些潜在空间适合嵌入以及嵌入是否具有语义意义。

    Apr, 2019

  • StyleCLIP: 基于文本的 StyleGAN 图像操作

    本文探讨了如何利用 Contrastive Language-Image Pre-training (CLIP) 模型，开发基于文本的 StyleGAN 图像操作界面。新方法不需要人工干预，通过文本提示即可对输入的潜在向量进行修改，并引入了潜在映射器，提高了文本驱动的操作效率。实验表明该方法非常有效。

    Mar, 2021

  • StyleFusion：用于解开空间分段的生成模型

    StyleFusion是一种基于StyleGAN的新型映射架构，可以将多个潜在代码融合成一个风格代码，从而得到可以精细控制每个生成图像区域的去耦合表示，同时可实现语义感知的跨图像区域混合，对于用户的兴趣区域提供更精准的编辑限制。

    Jul, 2021

  • 只用预训练的StyleGAN进行图像操作的多功能StyleGAN

    本篇论文通过探究 StyleGAN 的空间特性，提出使用预训练的 StyleGAN 加一些操作就可以进行图像处理和编辑任务，并且在各项任务上表现可以与现有最先进技术媲美的方法。

    Nov, 2021

  • StyleGAN中用于细粒度图像操纵的特定属性控制单元

    本研究提出了使用属性特定的控制单元来处理精细化的StyleGAN图像操作的方法，并针对人脸属性操作等任务进行了实证研究，结果表明该方法在实现精细操作方面表现出色。

    Nov, 2021

  • 哪种风格让我更有魅力？基于可解释控制发现的StyleGAN因果解释

    本文在使用StyleGAN2生成人脸的场景下提出了一种新方法，通过利用现有人脸分析模型（例如人脸解析器和人脸关键点检测器），对潜在子空间的语义进行解缠，并且提供了在此过程中的丰富潜在空间控制，同时提出了一种新的透视法来解释CNN分类器的行为，能够帮助揭示分类器所学习到的语义是否合理。

    Jan, 2022

  • 潜空间中拥有所有：StyleGAN隐空间探索实现属性编辑和样式操作

    FLAME是一种使用少量监督来进行操纵编辑方向的简单而有效的框架，可通过操纵潜在空间来实现高度可控的图像编辑。同时，还提出了属性样式操作的新任务，以生成具有不同属性样式的多样化图像。

    Jul, 2022

  • NoisyTwins: 基于StyleGAN的一致多样图像生成

    使用NoisyTwins引入一种有效且廉价的类别嵌入数据增强策略，在ImageNet-LT和iNaturalist 2019等大规模实际数据集上，成功地解决了StyleGANs当训练规模很大时所遇到的问题，保持了类内多样性和图像生成的类一致性

    Apr, 2023

  • 训练的潜在空间导航：在基于样式的模型生成的图像中预防缺乏逼真感

    本文介绍了一种简单的无监督方法，用于提供训练良好的局部潜在子空间，使得通过潜在编码的导航能够保持生成图像的真实感。实验证明，在局部潜在子空间内生成的图像能够在潜在编码反复调整的情况下保持真实感，并且这种方法对各种类型的基于风格的模型中的潜在编码优化都具有应用潜力。

    Oct, 2023

  • 图像编辑的紧凑且语义潜空间的解缠和可控

    我们提出了一种自编码器方法，通过重新组织StyleGAN的潜空间，使我们希望编辑的每个属性对应于新潜空间的一个轴，同时确保潜空间轴之间的相关性降到最低，以促进属性解缠，通过实验证明了我们的方法在编辑能力上超越了竞争方法，同时在保持图像身份一致性方面与原始图像具有高度的准确性，我们的自编码器结构简单明了，易于实现。

    Dec, 2023