从生成模型学习分层特征
本文介绍了一种基于深度生成模型的架构,该架构在训练过程中使用多层的潜在变量,并且在所有潜在变量和输出之间包括确定性路径,以及提供了一组更丰富的连接,这些连接在推理和生成计算之间实现了更有效的信息通信。我们在重构分布中引入了轻量级自回归模型以提高自然图像的性能。实验表明,我们的方法在标准图像建模基准测试中达到了最先进的性能,并且在没有标签信息的情况下可以暴露潜在的类结构,同时可以提供自然图像中被遮挡区域的令人信服的估计。
Dec, 2016
通过学习样本数据的潜在分布,生成对抗网络(GAN)最近推动了图像合成的进展。本文通过使用预训练的 StyleGAN 生成器作为已学习的损失函数,并利用其分层表示来训练新的层次编码器,展示了学习图像合成如何产生通用于广泛应用的出色分层视觉特征。通过广泛的定性和定量实验结果表明,GH-Feat 具有很强的可转移性,可以应用于图像编辑、图像谐调、图像分类、脸部验证、地标检测和布局预测等生成和判别任务。
Jul, 2020
本文提出了一种基于乐观的概率方法进行逐层训练 DeepAutoEncoder 的过程,可以提高深度架构训练的性能,实验结果表明使用比生成模型更丰富的推理模型可以有效地提高性能。
Dec, 2012
提出了一种新颖的分层生成模型,使用对抗学习模型进行训练,可以逐步学习更抽象的表征,并提供具有不同保真度的语义有意义的重建。模型使用 CelebA 数据集演示了其学习的特征能够在无监督情况下胜过最佳手工特征,并在 MNIST 半监督分类任务中实现了最新的性能。
Feb, 2018
本文提出一种新的体系结构和损失函数,以训练生成模型以预测未标记的自然视频序列中的帧,解决了无监督设置下训练这种层次结构的问题,并通过引入非确定性函数的潜在变量来解决预测中固有的不确定性问题。
Jun, 2015
通过引入辅助变量(auxiliary variables),我们扩展了深度生成模型,用于提高变分近似方法,这让变分分布更有表现力,具有更快的收敛速度和更好的结果,从而实现了半监督学习的最先进性能,适用于 MNIST、SVHN 和 NORB 数据集。
Feb, 2016
通过渐进式学习独立层级表示,本文提出了一种策略来提高 Deep Generative Models 如 Variational Auto-Encoder 的去纠缠性能,该模型从最抽象的表示开始学习,并逐渐增加网络结构以介绍不同层次的表示。在两个基准数据集上,本文通过三个去纠缠度量定量地证明了所提出模型相比于现有作品的改进,包括我们提出的补充相互信息差度量。我们提供了定性和定量的证据,论证了学习进程如何提高分解成层级表示的性能。本文通过同时利用层级表示学习和渐进式学习的优势,是我们目前发现的第一次尝试通过逐步增加 VAE 的能力来提高去纠缠性。
Feb, 2020
使用 Variational Homoencoder(VHE)技术,在 Omniglot 数据集中建立层次化的 PixelCNN,其效果优于所有现有模型,同时在一次性生成和分类任务上实现强大性能。
Jul, 2018
本文提出了一种新的框架来学习具有所需结构属性的多元数据的可控和通用表示,该模型利用图模型中的掩码变量表示归纳偏置,并扩展多元信息瓶颈理论来强制执行结构依赖性,从而提供原则性方法来学习一组语义上有意义的潜在因素,其反映了各种类型的期望结构,如捕获相关性或编码不变性。同时还提供了自动估计数据中依赖关系的灵活性,该框架统一了许多现有的生成模型,并可应用于各种任务,包括多模态数据建模、算法公平性和不变风险最小化。
Jul, 2020
该论文研究了无监督学习中生成模型的训练方法,提出了一种在对抗网络与似然训练之间进行混合训练的方法,其中使用深度可逆变换来解决概率和逆变换之间的冲突,实现了更好的生成样本和更高的似然性评估。
Jan, 2019