从生成模型学习分层特征
通过引入辅助变量(auxiliary variables),我们扩展了深度生成模型,用于提高变分近似方法,这让变分分布更有表现力,具有更快的收敛速度和更好的结果,从而实现了半监督学习的最先进性能,适用于MNIST、SVHN和NORB数据集。
Feb, 2016
本文介绍了一种基于深度生成模型的架构,该架构在训练过程中使用多层的潜在变量,并且在所有潜在变量和输出之间包括确定性路径,以及提供了一组更丰富的连接,这些连接在推理和生成计算之间实现了更有效的信息通信。我们在重构分布中引入了轻量级自回归模型以提高自然图像的性能。实验表明,我们的方法在标准图像建模基准测试中达到了最先进的性能,并且在没有标签信息的情况下可以暴露潜在的类结构,同时可以提供自然图像中被遮挡区域的令人信服的估计。
Dec, 2016
提出了一种新颖的分层生成模型,使用对抗学习模型进行训练,可以逐步学习更抽象的表征,并提供具有不同保真度的语义有意义的重建。模型使用CelebA数据集演示了其学习的特征能够在无监督情况下胜过最佳手工特征,并在MNIST半监督分类任务中实现了最新的性能。
Feb, 2018
本研究提出了一种两级分层目标函数来控制变量块和块内个体变量之间的相对统计独立程度,以通过非监督学习从高维数据中学习无监督表示,实验结果显示该目标函数可以解开离散变量,并提高其他变量的解开程度和泛化能力。
Apr, 2018
使用Variational Homoencoder(VHE)技术,在Omniglot数据集中建立层次化的PixelCNN,其效果优于所有现有模型,同时在一次性生成和分类任务上实现强大性能。
Jul, 2018
通过渐进式学习独立层级表示,本文提出了一种策略来提高Deep Generative Models如Variational Auto-Encoder的去纠缠性能,该模型从最抽象的表示开始学习,并逐渐增加网络结构以介绍不同层次的表示。在两个基准数据集上,本文通过三个去纠缠度量定量地证明了所提出模型相比于现有作品的改进,包括我们提出的补充相互信息差度量。我们提供了定性和定量的证据,论证了学习进程如何提高分解成层级表示的性能。本文通过同时利用层级表示学习和渐进式学习的优势,是我们目前发现的第一次尝试通过逐步增加VAE的能力来提高去纠缠性。
Feb, 2020
本文提出了一种名为SCHA-VAE的全层次聚合变分自编码器方法,将当前的潜变量模型扩展到一种更好地捕获小数据集内固有变化、适合深度生成模型的层级形式,实现了远离分布范围归纳的少样本生成数据的目标。
Oct, 2021
本文研究多层生成模型在学习分层表示中的基本问题,并提出了一种联合潜在空间的基于能量的模型,通过多层潜在变量实现了有效的分层表示学习,并对数据分布建模。
Oct, 2023
通过引入数据的稀疏性到生成式分层模型中,我们展示了学习到的抽象表达和空间变换的不变性之间的强相关性,并解释了卷积神经网络在 Sparse Random Hierarchy Model(SRHM) 中的样本复杂性如何依赖于任务的稀疏性和分层结构。
Apr, 2024