Nov, 2018

生成对抗网络中的风格与内容分离

PDF
TL;DR该研究提出了一种新的无监督算法 ——Style and Content Disentangled GAN（SC-GAN），该算法可以让训练的生成敌对网络（GAN）以一种分离风格和内容的方式学习数据的表征。
disentangled gansimage generationstylecontentunsupervised learning
发现论文，激发创造
  • 基于对角注意力和样式的 GAN 实现图像生成与转换中内容和风格解耦

    本研究提出了新的层级自适应对角空间注意力 (DAT) 层，用于分离图像生成模型中的空间内容和样式，并可以灵活地控制多域图像翻译任务中的内容和风格。实验表明，该方法在分离和控制生成图像中的空间特征方面优于现有模型。

    Mar, 2021

  • 通过无监督的几何蒸馏解开内容和风格

    本文提出了一种创新的框架，利用两个分支的自编码器来学习内容和风格分离的表征，并通过多个损失约束辅助无监督学习，最终生成清晰、高质量的 256*256 分辨率的图片。

    May, 2019

  • 风格干预：如何通过基于风格的生成器实现空间脱耦？

    本研究探索了利用预训练的基于样式生成器的 “样式空间” 控制本地翻译的可能性。提出了一种名为 “Style Intervention” 的轻量级优化算法，用于在高分辨率图像上进行面部属性编辑，证明了其在视觉和定量结果上的有效性，表现优于现有的基准。

    Nov, 2020

  • 通过生成对抗网络实现风格分离和合成

    本文提出了一种新的深度学习网络 S3-GAN，可以同时实现特定类别物体照片的风格分离和风格合成。该网络结构包括编码器网络、生成器网络和对抗网络，基于前提假设物体照片在流形上，内容和风格是相互独立的，并通过编码器网络实现风格分离，生成器网络实现风格合成，对抗网络生成更加逼真的图像。实验表明，S3-GAN 可以在单个模型中同时捕捉各种风格，具备一定的风格分离和合成能力。

    Nov, 2018

  • 生成对抗网络中的对比式解缠

    本文从对比学习的角度提出了一种新的对抗生成网络（CD-GAN）来解决因潜变量的后验推断和缺乏样本似然性而难以实现的生成模型因果解释的问题，它通过对比图像特征来实现对数据中不同类之间可辨别属性的提取，并通过仅有的有限监督来提高模型的性能。实验结果表明了该模型在多个数据集上对数据进行高效的可解释性特征提取。

    Mar, 2021

  • 用半监督式 GAN 进行解缠学习

    本文提出了一种基于 StyleGAN 的半监督高分辨率解缠方法，旨在克服现有解缠方法在处理高分辨率图像、重视解缠表示的限制以及无监督设置下的不可识别性等局限性。实验结果表明，使用仅有 0.25％〜2.5％的标记数据，就可以在合成和真实数据集上实现良好的解缠，同时提出了新的指标来量化生成器的可控性，并且在探究解缠表示学习和可控生成之间的权衡时，发现其之间存在重要的平衡关系。

    Mar, 2020

  • SC2GAN: 自校正相关 GAN 空间重新思考纠缠

    本研究探讨了生成对抗网络（GANs）中潜在空间的交错问题，并提出了一种新的框架 SC$^2$GAN 以实现解交错。通过重新投影原始潜在编码样本并根据高密度和低密度区域进行编辑方向的修正，利用原始的有意义方向和语义区域特定层插值原始潜在编码，生成罕见的属性组合的图像，然后将这些样本反转回原始潜在空间。我们将该框架应用于学习有意义潜在方向的现有方法，并展示了它在添加了少量低密度区域样本的情况下解交错属性的强大能力。

    Oct, 2023

  • MOST-GAN: 用于解耦脸部图像操作的 3D 可塑造风格 GAN

    MOST-GAN 使用 3D 形态模型耦合现代化 2D 变形网络实现面部图像生成、控制和逼真操作。

    Nov, 2021

  • 通过结构化噪声注入实现图像分离生成

    通过多个噪声编码与全连接层进行注入噪声的设计选择，实现了对生成对抗网络（GANs）的潜在空间进行解缠纷的目标，并达到更好的解缠纷分数，同时实现了对生成图像的空间解缠纷、尺度空间解缠纷和前景对象与背景样式的解缠纷，从而实现了对生成图像的精细控制。

    Apr, 2020

  • 基于风格的生成对抗网络生成器架构

    本文提出了一种基于风格迁移文献的替代生成对抗网络的生成器体系结构，能够自动学习高级属性和生成图像中的随机变化，改善传统的分布质量量度标准，提高内插质量和交互性能，同时也更好地分离出潜在的多变因素。

    Dec, 2018