深度生成模型分层学习

Dec, 2012

Layer-wise learning of deep generative models

Ludovic Arnold, Yann Ollivier

TL;DR本文提出了一种基于乐观的概率方法进行逐层训练 DeepAutoEncoder 的过程，可以提高深度架构训练的性能，实验结果表明使用比生成模型更丰富的推理模型可以有效地提高性能。

Abstract

When using deep, multi-layered architectures to build generative models of data, it is difficult to train all layers at once. We propose a layer-wise training procedure admitting a performance guarantee compared to the global optimum. It is based on an optimistic proxy of future perfor

deep architectures generative models layer-wise training auto-encoders inference model

发现论文，激发创造

深度、分层生成模型的架构设计

本文介绍了一种基于深度生成模型的架构，该架构在训练过程中使用多层的潜在变量，并且在所有潜在变量和输出之间包括确定性路径，以及提供了一组更丰富的连接，这些连接在推理和生成计算之间实现了更有效的信息通信。我们在重构分布中引入了轻量级自回归模型以提高自然图像的性能。实验表明，我们的方法在标准图像建模基准测试中达到了最先进的性能，并且在没有标签信息的情况下可以暴露潜在的类结构，同时可以提供自然图像中被遮挡区域的令人信服的估计。

Dec, 2016

从生成模型学习分层特征

本文证明已有的变分方法无法很好地训练分层潜变量模型，并且提出了一种不依赖先前知识、能够在多个自然图像数据集上学习高度可解释和分解分层特征的替代架构。

Feb, 2017

深度自回归网络

本文介绍了一种深度、生成式自编码器，它能够从数据中学习分层式分布式表示。通过基于最小描述长度原理的有效近似参数估计方法，我们证明了该方法在几个经典数据集上取得了最先进的生成性能。

Oct, 2013

深度生成语言模型的有效估计

本文探讨了利用深度神经网络对概率模型进行参数化的变分推断方法在语言建模上出现的后验坍塌问题，介绍了多种解决方案和模型扩展，并通过贝叶斯优化系统性比较了这些方法的效果和差异，同时提供了一些实践建议。

Apr, 2019

生成模型的自适应密度估计

该论文研究了无监督学习中生成模型的训练方法，提出了一种在对抗网络与似然训练之间进行混合训练的方法，其中使用深度可逆变换来解决概率和逆变换之间的冲突，实现了更好的生成样本和更高的似然性评估。

Jan, 2019

梯形变分自编码器

本文提出了一种新的推断模型 ——“阶梯式变分自动编码器”，并利用逐步添加的近似似然校正生成分布，在生成模型中实现了更深更分布的隐变量层次结构，提供了前沿的预测性能和更紧的下界。

Feb, 2016

从神经 PCA 到深度无监督学习

提出了一种支持深度无监督学习的网络，使用编码器到解码器的侧向快捷连接来支持层次结构，并通过去噪自编码器和去噪源分离框架进行学习，以学习不变特征。

Nov, 2014

辅助导向自回归变分自动编码器

本文提出了一种训练程序，它基于辅助损失函数来控制潜变量所捕获的信息以及留给自回归解码器的信息，该方法可以实现任意强大的自回归解码器，达到具有潜变量的模型中最先进的定量性能，并生成定性令人信服的样本。

Nov, 2017

自编码器的分层相关传递解锁

我们提出了一个快速的可解释性解决方案，通过深度泰勒分解框架扩展层级相关传播方法，引入了一种新的验证技术，与基线方法进行比较，在缺少基础真实数据的情况下突出了所提出的可解释性解决方案的计算和质量方面的优势。

Mar, 2023

层次对抗学习推理

提出了一种新颖的分层生成模型，使用对抗学习模型进行训练，可以逐步学习更抽象的表征，并提供具有不同保真度的语义有意义的重建。模型使用 CelebA 数据集演示了其学习的特征能够在无监督情况下胜过最佳手工特征，并在 MNIST 半监督分类任务中实现了最新的性能。

Feb, 2018