AAAINov, 2017

贝叶斯推断的黎曼斯坦变分梯度下降

PDF
TL;DR开发了一种称为 Riemannian Stein Variational Gradient Descent (RSVGD) 的贝叶斯推断方法，将 Stein Variational Gradient Descent (SVGD) 推广到 Riemann 流形上，利用信息几何学探索分布几何、提高粒子效率、迭代有效性和逼近灵活性，研究结果显示在 Riemann 流形上具有优势。
bayesian inferenceriemann manifoldparticle-efficiencyinformation geometryrsvgd
发现论文，激发创造
  • Grassmann Stein 变分梯度下降

    本研究提出了一种名为 Grassmann Stein 变分梯度下降 (GSVGD) 的新概念，用于处理维度高的目标分布问题，具备在高维空间中探索低维结构等特性。GSVGD 方法与其他变体方法相比，更新打分函数和数据的投影器并通过一种耦合的 Grassmann 值扩散进程确定最优投影器。理论和实验结果表明，GSVGD 在高维问题中具有高效的状态空间探索能力。

    Feb, 2022

  • Stein 变分牛顿法

    本文提出了一种改进的 Stein 变分梯度下降（SVGD）算法，采用函数空间的 Newton 迭代近似二阶信息以加速算法，同时还介绍了二阶信息在选择核函数时的更有效作用。在多个测试案例中，我们观察到与原始 SVGD 算法相比，有了显著的计算优势。

    Jun, 2018

  • 带矩阵值核的斯坦变分梯度下降

    本文提出了一种新颖的基于矩阵的 Stein 变分梯度下降算法，通过利用 Hessian 矩阵和 Fisher 信息矩阵等预处理矩阵来加速粒子的探索，从而实现了更加高效的近似推断，并在实验中证明其性能优于其他基线方法。

    Oct, 2019

  • 神经变分梯度下降

    本文提出了一种基于神经网络的参数化证见函数的改进 Stein 变分梯度下降方法，旨在解决传统 Stein 变分梯度下降中选择核函数的难题，经实验证明该方法在合成推理问题、贝叶斯线性回归和贝叶斯神经网络推理问题中有效可行。

    Jul, 2021

  • 无梯度的斯坦变分梯度下降算法

    本研究提出 Stein 变分梯度下降的变种分别采用代理梯度代替目标密度函数的真实梯度，并通过对梯度进行适当加权来纠正引入的偏差。同时，我们提出了一种基于模拟退火思想的 GF-SVGD，进一步提高了高维复杂分布的性能表现，并在经验研究中表明其性能优于一些最新的先进算法。

    Jun, 2018

  • 离散分布的斯坦变分推断

    该研究提出了一种将离散分布转换为等效分段连续分布的方法，然后使用无梯度的 SVGD 进行高效的近似推理，并证明了该方法在离散图形模型的各种测试中优于传统的算法，同时优于其他广泛使用的集成方法，特别是在学习 CIFAR-10 数据集上的二值化 AlexNet 的情况下。

    Mar, 2020

  • 斯坦变分梯度下降作为时刻匹配

    本文提出一种基于 Stein 算子的非参数推断方法，将 Stein 变分梯度下降（SVGD）用于解决推断问题，挖掘出一类函数，即 Stein 匹配集合，从而提供了更好的内核选择方法，并可以将问题转化为拟合 Stein 等式或求解 Stein 方程。

    Oct, 2018

  • Stein 变分梯度下降作为梯度流

    本文针对 Stein 变分梯度下降算法（SVGD）开展了首次理论分析，讨论了其弱收敛性质及通过 Stein 算子引出的新度量结构下的 KL 散度功能梯度流等渐近特性，同时应用弱导数等概念提供了一系列 Stein 算子和 Stein 不等式的结果，包括在弱条件下 Stein 差异的可辨识性的新证明。

    Apr, 2017

  • 斯坦变分梯度下降：一种通用贝叶斯推断算法

    本文提出了用于优化的通用变分推理算法，它是梯度下降法的一种自然补充，可以通过一种函数梯度下降来最小化 KL 距离，从而迭代地传输一组粒子以匹配目标分布。经过在各种真实世界模型和数据集上的实证研究，我们的方法与现有的最先进的方法相竞争。我们方法的推导基于一个新的理论结果，它连接了平滑转换下 KL 距离的导数与 Stein's 恒等式以及最近提出的核化的 Stein 距离，这也具有独立的兴趣。

    Aug, 2016

  • 探究高斯 - 斯坦变分梯度下降动态

    通过使用正态分布初始化器逼近高斯目标样本并使用密度和基于粒子的实现方法，证明了 Stein Variational Gradient Descent (SVGD) 及其变体的特性，包括线性收敛和性能优越性，这对于深入理解 SVGD 和 Gaussian variational inference (GVI) 的相关性提供了具体贡献。

    May, 2023