我们提出了一种简单的算法，用于训练随机神经网络从给定的目标分布中绘制样本，以进行概率推断。我们的方法基于按照 Stein 变分梯度方向（Liu & Wang，2016）调整神经网络参数，从而最大程度地减少与目标分布的 KL 散度。这种方法适用于任何由其未归一化密度函数指定的目标分布，并且可以训练任何可微分的参数结构。我们用许多应用程序演示了我们的方法，包括具有表现力编码器的可变分自编码器（VAE）以建模复杂的潜在空间结构，以及 MCMC 采样器的超参数学习，这允许贝叶斯推断在看到更多数据时自适应地改善。

Jul, 2017

本文提出了一种双重摊销变分推理过程来解决传统推理技术训练的生成模型在适应新分布时遇到的困难，通过学习可转移潜在表示，在不同的概率模型之间推广，特别地，应用于图像分布上，该方法在 MNIST 和 NORB 的下游图像分类任务中显著优于基线（分别达 10-50% 和 10-35% 的准确率提升）

Feb, 2019

提出了一种新的近似推断算法，通过按摩用户选择的 MCMC 采样器的动态来近似目标分布，并使用这些样本更新近似网络，从而提高其质量，进而允许高度复杂或隐含定义的近似族，包括通过深度神经网络扭曲随机性源而产生的近似。实验以使用深度生成模型的图像建模为测试。通过摊销 MCMC 训练的深度模型被证明可以生成逼真的图像样本，以及为具有缺失像素区域的图像产生多样的填充结果。

Feb, 2017

训练扩散模型以从具有给定未归一化密度或能量函数的分布中进行采样问题的研究，对于模拟为基础的变分方法和连续生成流网络等离散结构的推理方法进行基准测试，结果揭示了现有算法的相对优势，并对过去的研究提出了质疑。我们还提出了一种新颖的基于局部搜索和重放缓冲区在目标空间进行离线方法的探索策略，证明它改善了多个目标分布上样本的质量。我们为研究的采样方法和基准测试公开了代码，作为未来基于扩散模型进行分摊推理工作的基础。

Feb, 2024

使用神经生成网络学习能量函数和一种分摊求近似（amortized approximate）的采样机制，结合最近提出的非参数互信息估计器来最大化生成样本的熵，使用必要条件从分数匹配（score matching）文献中衍生出的零中心梯度惩罚来稳定生成的对抗游戏。该技术可以生成与最新的生成对抗网络技术竞争的清晰图像，不会出现模式崩溃，并且在异常检测方面具有与现有技术相媲美的竞争力。

Jan, 2019

本文提出了一种高效可扩展的神经隐式采样器，它通过利用神经转换将易于采样的潜在向量直接映射到目标样本，而无需迭代过程，从而实现低计算成本生成大批量样本，此外，本文还引入了 KL 训练方法和 Fisher 训练方法来有效地优化了所提出神经隐式采样器以捕获所需的目标分布。

Jun, 2023

本文介绍了一种新的生成模型，利用评分匹配来估计数据分布的梯度，通过 Langevin 动力学生成样本。我们的框架使得模型架构更加灵活，无需在训练期间进行抽样或使用对抗性方法，提供了可用于基于原则的模型比较的学习目标。在 MNIST、CelebA 和 CIFAR-10 数据集上，我们的模型产生的样本与 GAN 相当，实现了 CIFAR-10 inception 得分的新的最先进水平为 8.87。此外，我们通过图像修补实验证明了我们的模型学习到了有效的表示。

Jul, 2019

本文提出了几种新的深度能量模型算法，其中 SteinCD 在测试似然度方面表现良好，而 SteinGAN 在生成逼真图像方面表现良好。我们的结果表明，通过将 GAN 风格的方法与传统的能量学习方法相结合，可以学习出更好的模型。

Jul, 2017

使用神经网络构建的两种采样器，通过训练最小化 Stein discrepancy 的方法，针对非标准化密度函数生成高质量的样本，相对传统采样方法具有更优的收敛性能。

Oct, 2018

通过使用归约化贝叶斯推理方法从难以通过条件概率分布采样的后验分布中提取样本，我们展示了这种分布匹配模型在 LLM 微调中作为最大似然训练和奖励最大化策略优化的有效替代方法，进而实现了对多步骤推理和工具使用任务的数据高效适应。

Oct, 2023