用摊余式 Stein 变分梯度下降学习绘制样本

Jul, 2017

用摊余式 Stein 变分梯度下降学习绘制样本

Learning to Draw Samples with Amortized Stein Variational Gradient Descent

Yihao Feng, Dilin Wang, Qiang Liu

TL;DR我们提出了一种简单的算法，用于训练随机神经网络从给定的目标分布中绘制样本，以进行概率推断。我们的方法基于按照 Stein 变分梯度方向（Liu & Wang，2016）调整神经网络参数，从而最大程度地减少与目标分布的 KL 散度。这种方法适用于任何由其未归一化密度函数指定的目标分布，并且可以训练任何可微分的参数结构。我们用许多应用程序演示了我们的方法，包括具有表现力编码器的可变分自编码器（VAE）以建模复杂的潜在空间结构，以及 MCMC 采样器的超参数学习，这允许贝叶斯推断在看到更多数据时自适应地改善。

Abstract

We propose a simple algorithm to train stochastic neural networks to draw samples from given target distributions for probabilistic inference. Our method is based on iteratively adjusting the neural network param

stochastic neural networks probabilistic inference stein variational gradient target distribution differentiable black-box architectures

发现论文，激发创造

学习绘制样本：应用于生成式对抗学习的摊销 MLE

本论文提出了一种利用随机神经网络训练概率推理目标分布的简单算法，该方法基于 Stein 变分梯度迭代地适应神经网络参数，并将输出沿着与目标分布 KL 散度最大程度下降的 Stein 变分梯度变化，可适用于任何由未归一化密度函数指定的目标分布，并且可以训练任何针对我们想要适应的参数可微不可微黑盒结构。作为我们方法的应用，我们提出了一种用于训练深度能量模型的分摊极大似然估计算法，其中自适应地训练神经采样器来近似似然函数。我们的方法模仿深度能量模型和神经采样器之间的对抗游戏，并获得与最先进结果竞争的逼真图像。

Nov, 2016

斯坦变分梯度下降：一种通用贝叶斯推断算法

本文提出了用于优化的通用变分推理算法，它是梯度下降法的一种自然补充，可以通过一种函数梯度下降来最小化 KL 距离，从而迭代地传输一组粒子以匹配目标分布。经过在各种真实世界模型和数据集上的实证研究，我们的方法与现有的最先进的方法相竞争。我们方法的推导基于一个新的理论结果，它连接了平滑转换下 KL 距离的导数与 Stein's 恒等式以及最近提出的核化的 Stein 距离，这也具有独立的兴趣。

Aug, 2016

神经变分梯度下降

本文提出了一种基于神经网络的参数化证见函数的改进 Stein 变分梯度下降方法，旨在解决传统 Stein 变分梯度下降中选择核函数的难题，经实验证明该方法在合成推理问题、贝叶斯线性回归和贝叶斯神经网络推理问题中有效可行。

Jul, 2021

通过 Stein 变分梯度下降学习 VAE

基于斯坦变分梯度下降法开发了一种学习变分自编码器 (VAEs) 的新方法，无需对编码器分布的形式进行参数化假设。通过将所提出的编码器与重要性采样相结合，进一步提高了性能。在多个无监督和半监督问题上展示了出色的性能，包括对 ImageNet 数据的半监督分析，展示了该模型对大型数据集的可扩展性。

Apr, 2017

随机多目标采样梯度下降

我们提出了一种名为 Stochastic Multiple Target Sampling Gradient Descent (MT-SGD) 的方法，用于从多个未归一化的目标分布中进行采样。通过逐渐调整中间分布的流向多个目标分布，使采样粒子向目标分布的联合高似然区域移动，此方法在多目标优化问题上获得了良好的表现。

Jun, 2022

斯坦神经采样器

使用神经网络构建的两种采样器，通过训练最小化 Stein discrepancy 的方法，针对非标准化密度函数生成高质量的样本，相对传统采样方法具有更优的收敛性能。

Oct, 2018

论 Stein 变分梯度下降的几何形式

本文研究贝叶斯推断问题，特别关注于最近引入的斯坦变分梯度下降方法，介绍了该方法的交互粒子系统构建；并通过研究选择合适的正定核函数的问题，提出采用调整尾部的某些不可微核函数，证明在各种数值实验中这种方法具有明显的性能提升。

Dec, 2019

变分拒绝抽样

本文提出了一种采用拒绝抽样方法来舍弃具有低似然的变分后验采样的方法，并使用一种新的梯度估计器，以 MNIST 数据集为例，在估计边际对数似然时，相对于现有的基于单样本和多样本的方法，可以平均提高 3.71 个 nats 和 0.21 个 nats 的准确性。

Apr, 2018

元摊分变分推断与学习

本文提出了一种双重摊销变分推理过程来解决传统推理技术训练的生成模型在适应新分布时遇到的困难，通过学习可转移潜在表示，在不同的概率模型之间推广，特别地，应用于图像分布上，该方法在 MNIST 和 NORB 的下游图像分类任务中显著优于基线（分别达 10-50% 和 10-35% 的准确率提升）

Feb, 2019

Stein 变分梯度下降作为梯度流

本文针对 Stein 变分梯度下降算法（SVGD）开展了首次理论分析，讨论了其弱收敛性质及通过 Stein 算子引出的新度量结构下的 KL 散度功能梯度流等渐近特性，同时应用弱导数等概念提供了一系列 Stein 算子和 Stein 不等式的结果，包括在弱条件下 Stein 差异的可辨识性的新证明。

Apr, 2017