深度生成模型分层学习

Dec, 2012

Layer-wise learning of deep generative models

Ludovic Arnold, Yann Ollivier

TL;DR本文提出了一种基于乐观的概率方法进行逐层训练DeepAutoEncoder的过程，可以提高深度架构训练的性能，实验结果表明使用比生成模型更丰富的推理模型可以有效地提高性能。

Abstract

When using deep, multi-layered architectures to build generative models of data, it is difficult to train all layers at once. We propose a layer-wise training procedure which admits, under the right conditions, a

发现论文，激发创造

基于反向传播训练的深度生成随机网络

该论文提出了一种新的概率模型训练原则——基于学习马尔可夫链的转移算子，其稳态分布估计数据分布，并能采样出变量的子集。我们提供了一些定理以证明该方法的有效性，该方法也能适用于带有缺失变量的情况，并且不需要分层逐层预训练。

Jun, 2013

深度自回归网络

本文介绍了一种深度、生成式自编码器，它能够从数据中学习分层式分布式表示。通过基于最小描述长度原理的有效近似参数估计方法，我们证明了该方法在几个经典数据集上取得了最先进的生成性能。

Oct, 2013

辅助深度生成模型

通过引入辅助变量（auxiliary variables），我们扩展了深度生成模型，用于提高变分近似方法，这让变分分布更有表现力，具有更快的收敛速度和更好的结果，从而实现了半监督学习的最先进性能，适用于MNIST、SVHN和NORB数据集。

Feb, 2016

堆叠式生成对抗网络

本文提出了一种名为 SGAN 的新型生成模型，其利用自底向上的判别网络的分层表示创造了一个自上而下的 GAN 堆栈，对其进行反演。通过引入表示鉴别器和条件损失并使用多个噪声向量，SGAN 能够生成质量更高的图像。

Dec, 2016

深度、分层生成模型的架构设计

本文介绍了一种基于深度生成模型的架构，该架构在训练过程中使用多层的潜在变量，并且在所有潜在变量和输出之间包括确定性路径，以及提供了一组更丰富的连接，这些连接在推理和生成计算之间实现了更有效的信息通信。我们在重构分布中引入了轻量级自回归模型以提高自然图像的性能。实验表明，我们的方法在标准图像建模基准测试中达到了最先进的性能，并且在没有标签信息的情况下可以暴露潜在的类结构，同时可以提供自然图像中被遮挡区域的令人信服的估计。

Dec, 2016

自动编码生成对抗网络的变分方法

本篇论文提供了一个新的原则，即利用生成模型的层次结构将自编码器与生成对抗网络相结合，以防止学习到的生成模型中的模式崩溃，并使用区分器学习合成可能性和隐式后验分布。

Jun, 2017

结构式生成对抗网络

该论文提出了一种基于两个独立潜变量的结构化生成式对抗网络，通过两个博弈过程最小化y和z的重构误差，并且提高了半监督条件下的图像分类精度以及图像生成质量。

Nov, 2017

Gradient Layer: 增强生成模型对抗训练的收敛

本文提出了在生成对抗网络训练中，通过引入梯度层来寻找无限维空间中的下降方向，以克服深模型训练中局部最优问题，从而获得更快更好的收敛性能以及更强的表达能力。

Jan, 2018

逐层反转深度生成模型

本文研究在ReLU激活的深度生成模型中，通过解决线性规划问题进行单层反演，证明了多层反演是NP难问题，提出了可在多项式时间内进行精确恢复的算法，并为恢复嘈杂观测提供了可证明的误差界限。

Jun, 2019

使用潜在变量蒸馏扩展概率电路

通过潜变量精炼机制在深度生成模型和Probabilistic Circuits之间建立联系，提高了PCs在大型和高维现实世界数据集上的性能表现，使其在图像建模中达到了与VARIATIONAL AUTOENCODERS和FLOW-BASED MODELS相当的竞争力，为可处理的生成建模开辟了新的途径。

Oct, 2022