通过将预测编码视为拉普拉斯近似下的变分贝叶斯算法，我们发现其目标函数中排除与之关联的 Hessian 项是其性能不佳的根源。借此，我们提出了三个主要贡献：提出了一个简单的蒙特卡罗估计证据下界，该证据下界依赖于从 Hessian 参数化的变分后验中进行采样；推导出了全 Hessian 矩阵的新型块对角线逼近；介绍了一种将我们的方法与标准预测编码相结合以进一步降低内存复杂度的算法。我们在图像基准数据集上评估了我们的方法训练的模型，并将其与标准预测编码框架进行了对比。我们的方法产生了更高的对数似然值和更好的样本，更好地捕获了数据生成分布的多样性。

Mar, 2023

本文理论上探索了几种流行的变分自编码模型，在启发于噪声对比评估算法的基础上，提出了一种新的算法 NC-VAE，在数据重构能力上不会出现后验崩溃问题，提供了新的下界，并在图像和文本数据集上进行了实证展示。

Jul, 2019

本文介绍了一种新的生成模型，利用评分匹配来估计数据分布的梯度，通过 Langevin 动力学生成样本。我们的框架使得模型架构更加灵活，无需在训练期间进行抽样或使用对抗性方法，提供了可用于基于原则的模型比较的学习目标。在 MNIST、CelebA 和 CIFAR-10 数据集上，我们的模型产生的样本与 GAN 相当，实现了 CIFAR-10 inception 得分的新的最先进水平为 8.87。此外，我们通过图像修补实验证明了我们的模型学习到了有效的表示。

Jul, 2019

通过与一个识别模型相结合，我们开发了一个可扩展的深度非参数生成模型。在利用多层感知器的变分框架下，我们重新参数化变分后验分布，并推导出一个可处理深度学习任务规模数据集的变分下界公式，证明了该方法在深度无监督学习和深度贝叶斯优化领域的有效性。

Nov, 2015

这篇论文介绍了一种新的从自回归模型中采样的方法，提出了使用 Langevin 动力学构建马尔可夫链的方法，将采样过程并行化，并推广到有条件采样。通过将自回归模型作为贝叶斯先验，并使用条件似然或限制，我们可以控制生成模型的输出，应用这些技术于视觉和音频领域的自回归模型，获得了在声源分离、超分辨与修复等任务上有竞争力的结果。

May, 2021

本文介绍了一种结合了预测编码原理和将输入编码为离散脉冲计数的变分自编码器（P-VAE）的新型架构，通过引入 Poisson 分布的潜变量和预测编码，模型损失函数中出现了代谢成本项，表明与稀疏编码存在关系，我们通过实证验证了这一点。此外，我们分析了学习表示的几何结构，将 P-VAE 与其他 VAE 模型进行对比。发现 P-VAE 以相对较高的维度对输入进行编码，使下游分类任务中的类别具有线性可分性，样本效率提高了 5 倍。我们的工作提供了一个可解释的计算框架来研究类脑感觉处理，并为更深入地理解感知作为一种推理过程铺平了道路。

May, 2024

本文研究了在压缩感知中使用深度生成模型以及通过随机梯度 Langevin 动力学方法实现收敛的性质，并证明了该方法的实验性能与标准的梯度下降方法相当。

Feb, 2021

本文提出了一种基于 Langevin 恒温器的自适应协方差控制算法，通过有效地耗散依赖于参数的噪声来维持目标分布，从而实现在机器学习应用中相对于其他方案的大幅加速。

Oct, 2015

本论文主要研究基于非凸贝叶斯学习问题的人工智能、深度神经网络、Langevin Monte Carlo、动态重要性抽样等方面的算法和理论，包括控制变量减少噪声能量估计器方差、基于非可逆性的群链复制交换等算法及解决梯度消失问题的动态重要性抽样等，旨在提高大数据情况下的效率与稳定性。

May, 2023

该研究提出了一种新的方法，能够在处理离散数据、任意形式的噪声和重构损失、同时去除偏差等方面更好地连接正则化自编码器的训练过程和对潜在生成分布的隐式估计。

May, 2013