自编码器的最大似然训练
本文介绍了一种深度、生成式自编码器，它能够从数据中学习分层式分布式表示。通过基于最小描述长度原理的有效近似参数估计方法，我们证明了该方法在几个经典数据集上取得了最先进的生成性能。
Oct, 2013
本文提出了一种新的推断模型——“阶梯式变分自动编码器”，并利用逐步添加的近似似然校正生成分布，在生成模型中实现了更深更分布的隐变量层次结构，提供了前沿的预测性能和更紧的下界。
Feb, 2016
本文介绍了一种基于深度生成模型的架构，该架构在训练过程中使用多层的潜在变量，并且在所有潜在变量和输出之间包括确定性路径，以及提供了一组更丰富的连接，这些连接在推理和生成计算之间实现了更有效的信息通信。我们在重构分布中引入了轻量级自回归模型以提高自然图像的性能。实验表明，我们的方法在标准图像建模基准测试中达到了最先进的性能，并且在没有标签信息的情况下可以暴露潜在的类结构，同时可以提供自然图像中被遮挡区域的令人信服的估计。
Dec, 2016
本文介绍了一种基于最优输运的生成自编码模型的学习方法，将生成器与真实数据分布的p-Wasserstein距离最小化等价于最小化编码器聚合后验概率与潜在空间先验的p-Wasserstein距离，加上重构误差。 文章还介绍了一种称为Sinkhorn自编码器（SAE）的算法，通过Sinkhorn算法进行反向传播来近似和最小化潜在空间中的p-Wasserstein距离。
Oct, 2018
该论文研究了无监督学习中生成模型的训练方法，提出了一种在对抗网络与似然训练之间进行混合训练的方法，其中使用深度可逆变换来解决概率和逆变换之间的冲突，实现了更好的生成样本和更高的似然性评估。
Jan, 2019
本文介绍了一种名为感知生成自编码器的新型生成模型。该模型通过将生成的和目标分布映射到一个潜空间中，并用具有理论依据的数据和潜空间重构损失同时在数据空间和隐空间中强制同步，从而能够在无限制的神经网络体系结构和任意数量的潜在维度上推广可逆生成模型的思想，并且在样本质量方面显著优于传统自编码器和其他基于自编码器的生成模型。
Jun, 2019
提出了一种新的算法框架用于学习数据分布的自编码器，该框架最小化模型与目标分布的差异，通过对可学习潜在先验的关系正则化，惩罚潜在先验与其对应后验之间的融合Gromov-Wasserstein（FGW）距离，从而允许灵活地学习与生成模型相关的结构化先验分布，帮助多个自编码器的联合训练，即使它们具有异构的体系结构和无法比较的潜在空间，通过两种可扩展的算法实现该框架，适用于概率和确定性自编码器，我们的关系正则化自编码器（RAE）在生成图像方面优于现有方法，例如变分自编码器，Wasserstein自编码器及其变体，此外，我们的关系联合训练策略也取得了在合成和真实世界多视图学习任务中鼓舞人心的结果。
Feb, 2020
该研究提出了一种名为“变分Laplace自动编码器”的深度生成模型的一般框架，在近似后验分布时采用拉普拉斯近似方法，提高后验表现，同时减少摊销误差。在MNIST，Omniglot，Fashion-MNIST，SVHN和CIFAR10数据集上进行的实验证明，该方法显着优于ReLU网络上其他最近的摊销或迭代方法。
Nov, 2022
学习变分自动编码器（VAEs）的关键任务是训练生成模型和推理模型，本文提出了一种基于MAPA的推理方法，可以高效地估计真实模型的后验分布。初步结果表明，该方法在低维合成数据上能够更好地进行密度估计，并提供了将该方法扩展到高维数据的路线图。
Mar, 2024