复杂性的重要性:重新思考生成建模的潜空间
本论文提出了一种基于Autoencoder和生成对抗网络的神经网络结构,通过在潜在空间插值的对抗训练,促进了一个凸的潜在分布。该模型的生成器和辨别器均使用了AE,能够生成不模糊的样本,并且具有与原始图像相匹配的高低级特征,样本间的插值也能保持真实图像的潜在空间分布,因此保留了对输入图像的逼真相似性。
Jul, 2018
本文提出了一个名为InterFaceGAN的新框架,用于解释GAN学习到的语义面部编辑,并深入研究不同语义如何编码在GAN的潜在空间中。我们发现,精心训练的生成模型的潜在编码实际上学习了一个分离的表示,在线性变换后解旋,通过子空间投影来解开某些绑定属性,实现更精确的面部特征控制,并产生可控的面部属性表示的结果表明GAN具有生成高保真图像的能力。
Jul, 2019
本文提出了一种新的方法,通过找到生成模型中有意义的方向来提高生成模型潜在空间的可解释性,从而精确地控制生成图像的特定属性,如位置或比例。该方法对于搜索编码生成图像的简单变换方向(如平移,缩放或颜色变化)特别适用,并在GAN和变分自动编码器模型的质量和量化方面得到了证明。
Jan, 2020
本文探讨了生成对抗网络中聚类的问题,并从多模态潜在空间的角度提出了新的解决方案,该方案通过可调节的先验和所需聚类先验的影响来实现聚类。我们证明了所有组件的重要性,并提出了一种使用稀疏监控的多模态潜在空间的过程来便于学习聚类先验。
May, 2020
通过探索回归进隐空间的方法来研究生成对抗网络 (GAN) 的组合特性,将回归器与预训练的生成器结合成强大的图像先验,从而实现无需预定义概念和标签即可实现基于实例的图像编辑,该方法在图像合成、填充和编辑等多个任务中都有应用。
Mar, 2021
本文提出了一种基于特征空间上的混合距离正则化的方法,用于训练现有的生成模型,以在少量样本的情况下增强其逼真性和多样性,从而解决GANs在训练数据不足时的过拟合问题和模式崩溃现象。
Nov, 2021
本文研究生成对抗网络(GANs)中的潜在空间与三维对象的关系,探讨了几种GAN的变体和训练方法,旨在提高3D GAN的训练效果,同时提出了未来研究的方向。
Apr, 2023
不同生成图像模型是否暗含相似的潜在表示?我们通过测量四种不同模型(VAEs、GANs、NFs和DMs)的潜在空间相似性来进行调查。我们的方法是使用冻结的潜在空间之间的线性映射,将任意配对的编码器和解码器连接起来,并测量生成的“连接”模型的基于输出和基于探针的度量。我们的主要发现是,性能良好的模型之间的潜在空间线性映射保留了大部分视觉信息,即使潜在空间大小不同;对于CelebA模型来说,性别是最相似的属性。最后,我们展示了NF上的实验结果表明,潜在空间表示在训练早期就会收敛。
Jul, 2024
本研究解决了生成建模中潜在空间表示的紧凑性和有效性问题。我们提出一种通过松弛Vector Quantization(VQ)假设的新方法,采用字典学习和稀疏约束的潜在空间表示。实验证明,该方法在重构质量和表达能力上超越了VQ方法,同时有效解决了常见的代码本崩溃问题。
Sep, 2024