本文介绍了一种深度、生成式自编码器，它能够从数据中学习分层式分布式表示。通过基于最小描述长度原理的有效近似参数估计方法，我们证明了该方法在几个经典数据集上取得了最先进的生成性能。

Oct, 2013

本研究提出了一种简单的神经网络自编码器模型，可以遵守自回归约束实现强大的生成模型，其输出结果可以被理解为一组条件概率，可以用于多种架构，包括深度架构，并通过实验证明其与现有的可计算分布估算器的表现相当竞争力，并且测试时速度显著更快，规模更大。

Feb, 2015

本研究提出了使用神经网络模型通过权值共享和概率乘积规则实现无监督分布和密度估计的新方法，并探讨了如何构建深度神经网络在建模二进制和实值观察方面具有竞争力的性能以及如何利用深度卷积神经网络来处理图片中的拓扑结构。

May, 2016

本文介绍了一种将因果卷积与自注意力相结合的新型生成模型，将其应用于密度估计任务，并在 CIFAR-10 和 ImageNet 上取得了最先进的结果。

Dec, 2017

本文提出了一种通用的去量化框架，其中包含了现有方法的一些特殊情况，通过添加加性噪声来实现深度学习中的分布建模。作者还引入了两种新的去量化目标：重要性加权去量化和Rényi去量化，以及一种更灵活的去量化分布——自回归去量化（ARD）。经验结果表明，对于均匀去量化分布，iw和Rényi去量化可以显著提高性能。在CIFAR10数据集上，ARD实现了每维3.06比特的负对数似然，而不需要自回归逆用于采样的分布模型是最先进的。

Jan, 2020

深度生成模型的密度估计已被证明是最先进的，但最近的研究发现，它们通常会分配更高的似然性给训练分布之外的数据，此行为是由于偏差所致，本文通过分层变分自编码器提供了证据来解释这种行为，我们认为这是预期和期望的行为，掌握这一洞见后，我们设计了一种快速、可扩展且完全无监督的似然比分数用于ODD检测，并在大量数据和模型组合上进行了基准测试，获得了最佳实验结果。

Feb, 2021

通过将随机平滑引入自回归生成建模中，我们在多个数据集上显著改善了现有自回归模型的样本质量，同时在合成数据集上获得了具有竞争力的可能性。

Mar, 2021

采用局部自回归模型提高了其对于out-of-distribution问题检测的性能，并且成功地构建了新的无损压缩算法neural local lossless compressor(NeLLoC)，并且在压缩率和模型大小上达到了最佳性能。

Sep, 2021

我们提出了使用扩散过程模型每个令牌的概率分布，从而可以将自回归模型应用于连续值空间的方法，并通过定义扩散损失函数来替代离散化的令牌化。通过消除向量量化，我们的图像生成器在享受序列建模的速度优势的同时取得了强大的结果，并希望该方法能促进在其他连续值领域和应用中使用自回归生成。

Jun, 2024

本研究解决了向量量化自回归图像生成中的信息损失瓶颈，通过引入一种新的二维自回归变压器（DnD-Transformer）模型架构。相比传统的一维自回归方法，DnD-Transformer以新的自回归方向和模型深度实现更高质量的图像生成，并在自我监督的方式下有效生成包含文本和图形元素的图像，展示出其视觉语言智能的潜力。

Oct, 2024