带有梯度线性化的随机变分推断

CVPRMar, 2018

Stochastic Variational Inference with Gradient Linearization

Tobias Plötz, Anne S. Wannenwetsch, Stefan Roth

TL;DR本文提出了随机梯度线性化变分推断，并通过三个应用案例展示了在收敛速度和 KL 散度方面相对于传统梯度方法的明显优势。

Abstract

variational inference has experienced a recent surge in popularity owing to stochastic approaches, which have yielded practical tools for a wide range of model classes. A key benefit is that stochastic

variational inference stochastic approaches gradient linearization convergence speed kl divergence

发现论文，激发创造

使用本地线性模型的变分梯度下降

通过使用本地线性模型，提出了一种使用目标和粒子分布的样本计算梯度的新方法，可以替代需要计算目标得分函数的 Stein 变分梯度下降（SVGD）方法。

May, 2023

随机变分推断的平滑梯度

本文介绍了一种改进的随机变分推断方法，其中使用移动平均方法构建代替自然梯度的向量，得到了更高的计算计算效率和更小的误差。测试表明该方法在大规模数据上表现良好。

Jun, 2014

加速随机概率推断

本文提出了一种基于二阶方法的随机变分推断方法，通过求解变分目标函数的 Hessian 矩阵，选择了两种数值方案来实现这种方法，通过合成和真实数据的实证评估，证实了这种方法的有效性和效率。

Mar, 2022

理解随机自然梯度变分推断

随机自然梯度变分推断方法（NGVI）在各种概率模型中被广泛应用，本文对其非渐近收敛速度进行研究，证明了对于共轭似然情况下的非渐近收敛率为 1/T，而对于非共轭似然情况下的随机 NGVI，证明了它隐式地优化了一个非凸目标。

Jun, 2024

野外变分推断的两种方法

这篇论文介绍了一种新型的变分推断方法 —— 野生变分推断方法，其可以不需要可推导概率密度函数，而将随机梯度 Langevin 动力学 (SGLD) 作为推断网络，从而实现对 SGLD 步长的自动调整，并取得显著的改进效果。

Nov, 2016

随机梯度下降中方差与复杂度的权衡

CheapSVRG is proposed as a new stochastic variance-reduction optimization scheme which achieves a linear convergence rate through a surrogate computation while also balancing computational complexity.

Mar, 2016

神经变分梯度下降

本文提出了一种基于神经网络的参数化证见函数的改进 Stein 变分梯度下降方法，旨在解决传统 Stein 变分梯度下降中选择核函数的难题，经实验证明该方法在合成推理问题、贝叶斯线性回归和贝叶斯神经网络推理问题中有效可行。

Jul, 2021

Stein 变分牛顿法

本文提出了一种改进的 Stein 变分梯度下降（SVGD）算法，采用函数空间的 Newton 迭代近似二阶信息以加速算法，同时还介绍了二阶信息在选择核函数时的更有效作用。在多个测试案例中，我们观察到与原始 SVGD 算法相比，有了显著的计算优势。

Jun, 2018

用随机梯度变分贝叶斯近似伽马分布

本文研究了使用梯度的 log posterior 方法来控制梯度估计方差的问题，并应用到伽马分布潜在变量中，以实现稀疏性和非负性适用的模型的黑盒变分推断。该方法在网络数据的伽马过程模型和一种新型的稀疏因子分析中的应用效果均优于传统采样算法和对变换后变量使用高斯变分分布的方法。

Sep, 2015

使用带有一般散度函数的近端梯度方法加速随机变分推断

提出了一种基于随机梯度方法的变分推断新方法，不仅利用变分参数空间的几何性质，而且即使对于非共轭模型也可以产生简单的闭合式更新，该方法也具有收敛速率分析，即使用于非凸目标的随机镜像下降。在多种问题上，实验证明新算法在该框架中导出可以导致最先进的结果。

Oct, 2015