斯坦变分梯度下降：一种通用贝叶斯推断算法

NIPSAug, 2016

斯坦变分梯度下降：一种通用贝叶斯推断算法

Stein Variational Gradient Descent: A General Purpose Bayesian Inference Algorithm

Qiang Liu, Dilin Wang

TL;DR本文提出了用于优化的通用变分推理算法，它是梯度下降法的一种自然补充，可以通过一种函数梯度下降来最小化 KL 距离，从而迭代地传输一组粒子以匹配目标分布。经过在各种真实世界模型和数据集上的实证研究，我们的方法与现有的最先进的方法相竞争。我们方法的推导基于一个新的理论结果，它连接了平滑转换下 KL 距离的导数与 Stein's 恒等式以及最近提出的核化的 Stein 距离，这也具有独立的兴趣。

Abstract

We propose a general purpose variational inference algorithm that forms a natural counterpart of gradient descent for optimization. Our method iteratively transports a set of particles to match the target distrib

variational inference gradient descent kl divergence stein's identity kernelized stein discrepancy

发现论文，激发创造

论 Stein 变分梯度下降的几何形式

本文研究贝叶斯推断问题，特别关注于最近引入的斯坦变分梯度下降方法，介绍了该方法的交互粒子系统构建；并通过研究选择合适的正定核函数的问题，提出采用调整尾部的某些不可微核函数，证明在各种数值实验中这种方法具有明显的性能提升。

Dec, 2019

Stein 变分梯度下降作为梯度流

本文针对 Stein 变分梯度下降算法（SVGD）开展了首次理论分析，讨论了其弱收敛性质及通过 Stein 算子引出的新度量结构下的 KL 散度功能梯度流等渐近特性，同时应用弱导数等概念提供了一系列 Stein 算子和 Stein 不等式的结果，包括在弱条件下 Stein 差异的可辨识性的新证明。

Apr, 2017

神经变分梯度下降

本文提出了一种基于神经网络的参数化证见函数的改进 Stein 变分梯度下降方法，旨在解决传统 Stein 变分梯度下降中选择核函数的难题，经实验证明该方法在合成推理问题、贝叶斯线性回归和贝叶斯神经网络推理问题中有效可行。

Jul, 2021

Stein 变分牛顿法

本文提出了一种改进的 Stein 变分梯度下降（SVGD）算法，采用函数空间的 Newton 迭代近似二阶信息以加速算法，同时还介绍了二阶信息在选择核函数时的更有效作用。在多个测试案例中，我们观察到与原始 SVGD 算法相比，有了显著的计算优势。

Jun, 2018

斯坦变分梯度下降的非渐进分析

本文研究 Stein 变分梯度下降算法（SVGD），该算法通过优化一组粒子来逼近目标概率分布，我们提供了该算法的新颖有限时间分析，并提供了一种下降引理以及收敛速率研究，并将有限粒子实现的 SVGD 与其群体版本进行了收敛结果的对比。

Jun, 2020

Grassmann Stein 变分梯度下降

本研究提出了一种名为 Grassmann Stein 变分梯度下降 (GSVGD) 的新概念，用于处理维度高的目标分布问题，具备在高维空间中探索低维结构等特性。GSVGD 方法与其他变体方法相比，更新打分函数和数据的投影器并通过一种耦合的 Grassmann 值扩散进程确定最优投影器。理论和实验结果表明，GSVGD 在高维问题中具有高效的状态空间探索能力。

Feb, 2022

离散分布的斯坦变分推断

该研究提出了一种将离散分布转换为等效分段连续分布的方法，然后使用无梯度的 SVGD 进行高效的近似推理，并证明了该方法在离散图形模型的各种测试中优于传统的算法，同时优于其他广泛使用的集成方法，特别是在学习 CIFAR-10 数据集上的二值化 AlexNet 的情况下。

Mar, 2020

带矩阵值核的斯坦变分梯度下降

本文提出了一种新颖的基于矩阵的 Stein 变分梯度下降算法，通过利用 Hessian 矩阵和 Fisher 信息矩阵等预处理矩阵来加速粒子的探索，从而实现了更加高效的近似推断，并在实验中证明其性能优于其他基线方法。

Oct, 2019

斯坦变分梯度下降作为时刻匹配

本文提出一种基于 Stein 算子的非参数推断方法，将 Stein 变分梯度下降（SVGD）用于解决推断问题，挖掘出一类函数，即 Stein 匹配集合，从而提供了更好的内核选择方法，并可以将问题转化为拟合 Stein 等式或求解 Stein 方程。

Oct, 2018

分布式斯坦变分梯度下降的联合广义贝叶斯学习

本文提出了一种名为 Distributed Stein Variational Gradient Descent （DSVGD）的非参数广义贝叶斯推理框架，旨在通过维护中央服务器上的多个非随机交互粒子来最小化全局自由能，达到在通信负载和通信轮数方面的灵活权衡，并比较频率学派和贝叶斯联合学习策略，在精确度和可伸缩性方面表现出众，同时提供良好的校准性和可信度的预测。

Sep, 2020