我们提出了使用神经采样器来近似复杂多模态和相关后验分布的隐式分布的方法，并介绍了一种新的采样器架构，允许以百万个潜变量为基础的隐式分布，通过可微的数值逼近解决计算问题。我们的实证分析表明，我们的方法能够恢复大型贝叶斯神经网络中层间的相关性，这对网络的性能非常关键，但是一直以来都非常难实现。通过下游任务的实验，我们证明了我们的表达性后验优于最先进的不确定性量化方法，验证了我们的训练算法的有效性和学习出的隐式逼近的质量。

Oct, 2023

本文提出了一种基于神经网络的自适应 MCMC 采样器，它利用目标分布的梯度生成提案，通过最大化建议熵来实现对建议熵的直接优化，从而提高了在各种采样任务中的效率。

Oct, 2020

使用神经网络构建的两种采样器，通过训练最小化 Stein discrepancy 的方法，针对非标准化密度函数生成高质量的样本，相对传统采样方法具有更优的收敛性能。

Oct, 2018

本文提出了一种简单的方法来训练基于能量的模型（EBMs），并将其应用于半监督分类，方法利用熵正则化的生成器来分摊在 EBM 训练中通常使用的 MCMC 采样，这使得实验结果更快、稳定和可行。

Oct, 2020

本文提出一种新的自我对抗学习框架，用于通过学习条件生成器来生成高质量的样本，并自动学习马尔可夫内核的行为，从而逐渐逼近目标分布，从而在可扩展 Bayesian 采样和非监督深度学习模型等方面取得优势。

Nov, 2018

本文介绍了一种使用深度神经网络参数化的通用方法来训练 Markov 链蒙特卡洛核，该方法收敛快、混合快，并且我们在一系列简单但具有挑战性的分布中展示了大量的实证收益，并在一个真实的任务中展示了定量和定性的增益：潜变量生成建模。同时，我们还发布了算法的开源 TensorFlow 实现。

Nov, 2017

本论文提出了一种利用随机神经网络训练概率推理目标分布的简单算法，该方法基于 Stein 变分梯度迭代地适应神经网络参数，并将输出沿着与目标分布 KL 散度最大程度下降的 Stein 变分梯度变化，可适用于任何由未归一化密度函数指定的目标分布，并且可以训练任何针对我们想要适应的参数可微不可微黑盒结构。作为我们方法的应用，我们提出了一种用于训练深度能量模型的分摊极大似然估计算法，其中自适应地训练神经采样器来近似似然函数。我们的方法模仿深度能量模型和神经采样器之间的对抗游戏，并获得与最先进结果竞争的逼真图像。

Nov, 2016

深度神经网络的鲁棒性不确定性量化是许多深度学习应用的重要需求，贝叶斯神经网络是建模深度神经网络不确定性的一种有前景的方法，但从神经网络的后验分布中生成样本仍然是一个重大挑战。在本文中，我们展示了这些方法在采样分布时可能存在显著偏差，即使在步长趋近于零且批量大小足够大的情况下。

Mar, 2024

本文介绍了一种新的适应性 SMD 方法，该方法使用了 Kullback-Leibler 散度的近似来自动适应提议分布，该方法非常灵活，适用于任何参数化的提议分布，并支持在线和批处理变量，我们使用新框架来适应基于神经网络的强大提议分布，从而导致神经自适应序贯蒙特卡洛，实验表明，在非线性状态空间模型中，NASMC 显着改善了推断，优于自适应提议方法，包括扩展卡尔曼和无味粒子滤波器，也表明当 NASMC 用作粒子分辨率 Metropolis　Hastings 的子程序时，改进的推断可转化为参数学习的改进。最后，我们展示 NASMC 能够训练潜在变量递归神经网络（LV-RNN），达到与多态音乐建模的最新水平竞争的结果。NASMC 可以看作是将自适应 SMC 方法与最近的可扩展的黑箱变分推理工作之间的桥梁。

Jun, 2015

使用似然函数关于离散变量的梯度来提议更新，在一些复杂的模型上，我们的采样方法包括 Ising 模型、Potts 模型、受限玻尔兹曼机和分步隐马尔可夫模型等方面表现出优异的性能，并且有效提升以往在高维离散数据处理方面经常使用的变分自编码器和现有基于能量模型的方法的性能。同时我们证明，该方法是在局部更新的抽样器中几乎是最优的。

Feb, 2021