本文介绍了一种深度、生成式自编码器，它能够从数据中学习分层式分布式表示。通过基于最小描述长度原理的有效近似参数估计方法，我们证明了该方法在几个经典数据集上取得了最先进的生成性能。

Oct, 2013

本研究提出了一种简单的神经网络自编码器模型，可以遵守自回归约束实现强大的生成模型，其输出结果可以被理解为一组条件概率，可以用于多种架构，包括深度架构，并通过实验证明其与现有的可计算分布估算器的表现相当竞争力，并且测试时速度显著更快，规模更大。

Feb, 2015

该研究提出了一种基于缓存隐藏状态避免冗余计算的方法来加速卷积自回归模型的生成，将其应用于Wavenet和PixelCNN++模型可实现高达21倍和183倍的加速。

Apr, 2017

本文介绍了一种将因果卷积与自注意力相结合的新型生成模型，将其应用于密度估计任务，并在 CIFAR-10 和 ImageNet 上取得了最先进的结果。

Dec, 2017

本文介绍了一种基于掩蔽卷积的生成式流模型(MaCow)，通过对小卷积核的本地连接进行限制，实现快速而稳定的训练和高效的采样，显著提高了标准图像基准测试的密度估计性能，极大地缩小了与自回归模型之间的差距。

Feb, 2019

提出使用离散表示图像的方法，可以让基于自回归的生成模型输出具备更好的大规模连贯性，在ImageNet数据集上进行实验，证明了分层条件自回归模型可以在128×128和256×256的分辨率上生成逼真的图像。

Mar, 2019

该研究提出了一种基于不同视图之间的互信息最大化的新的无监督图像分割方法，该方法利用不同形式的掩蔽卷积构建数据的不同视图，用于表示学习或聚类。

Jul, 2020

本文提出了具有层次结构的VAE，并且在所有自然图像基准上，它比PixelCNN更快地生成样本的同时在对数似然上表现更好。我们通过将VAE的随机深度比以前探索的更深来测试不足深度是否会导致VAE性能下降。与PixelCNN相比，这些非常深的VAE可以获得更高的似然度，使用更少的参数，更快地生成样本，并且对高分辨率图像更容易应用，这是因为VAE学习了高效的分层视觉表示。

Nov, 2020

本论文通过采用稀疏卷积和分层解码器等新技术，将BERT-风格的预训练方法推广到卷积神经网络领域，并且在ResNet和ConvNeXt等模型上进行了验证，在目标检测和实例分割等任务中，优于当前最先进的对比学习和变换器掩模建模方法。

Jan, 2023

本研究提出了一种新的两阶段框架，包括掩蔽量化VAE（MQ-VAE）和Stackformer，在图像生成中减轻冗余感知信息的影响，实现了高效有效的图像生成。

May, 2023