May, 2018

面向可扩展贝叶斯采样的统一粒子优化框架

PDF
TL;DR本文针对大数据分析，提出了一种基于 Wasserstein 梯度流的粒子优化框架，用于统一随机梯度 MCMC 和 Stein 变分梯度下降算法，并能够更有效地解决概率测度空间上的挑战。实验结果表明，该框架能够提高贝叶斯抽样的效率和可伸缩性。
bayesian samplingstochastic gradient mcmcstein variational gradient descentparticle-optimizationwasserstein gradient flows
发现论文，激发创造
  • 神经变分梯度下降

    本文提出了一种基于神经网络的参数化证见函数的改进 Stein 变分梯度下降方法，旨在解决传统 Stein 变分梯度下降中选择核函数的难题，经实验证明该方法在合成推理问题、贝叶斯线性回归和贝叶斯神经网络推理问题中有效可行。

    Jul, 2021

  • 随机梯度 Repulsive 力量 MCMC

    本文提出 Bayesian inference 的两种不同算法的统一视图，即 Stochastic Gradient Markov Chain Monte Carlo （SG-MCMC）和 Stein Variational Gradient Descent（SVGD），提出一种新的改进和高效的采样方法，将 SVGD 与噪声结合，构成多链 SG-MCMC 方法，实现粒子之间斥力的作用，避免了崩溃并促进了更好的参数空间探索，并证明了这种添加噪声项是获得有效 SG-MCMC 采样器的必要条件。实验表明了所提出方案的益处。

    Nov, 2018

  • 通过贪心粒子优化进行贝叶斯后验逼近

    本文提出了一种名为 Frank-Wolfe 算法最大平均差异度量（MMD-FW）的新方法，通过贪婪算法以最小化的方式最小化 MMD，该方法在计算上具有实用的效率，并且我们在有限的维度中显示出其有限的样本收敛之后的线性顺序。

    May, 2018

  • 消息传递式 Stein 变分梯度下降

    通过我们提出的基于条件独立结构的概率图模型的消息传递 SVMG 方法 (简称 MP-SVGD) 使其在高维空间中具有更强的排斥力，从而提高了粒子效率和逼近灵活性，解决了 SVGD 中粒子落入概率密度函数模态和丧失排斥力的问题。

    Nov, 2017

  • 增强型消息传递 Stein 变分梯度下降

    本文研究了 Stein Variational Gradient Descent（SVGD）方法收敛过程中粒子的各向同性特性，并证明了有限粒子的 SVGD 无法扩展到整个样本空间，而是倾向于在一定范围内围绕粒子中心聚集；我们提出了一种改进的 SVGD 方法 —— 增强式信息传递 SVGD（AUMP-SVGD），该方法是一个不需要目标分布稀疏性的两阶段优化过程，能够在各种基准问题中高效地解决方差崩溃问题，实验结果表明此方法能够取得令人满意的精度。

    May, 2023

  • 基于虚拟粒子随机逼近的可证明快速 SVGD 有限粒子变体

    本文提出了两种计算有效（VP-SVGD 和 GB-SVGD）的 Stein 变分梯度下降算法，它们是特定的随机批处理逼近 SVG，具有证明的快速有限粒子收敛率。

    May, 2023

  • 探究高斯 - 斯坦变分梯度下降动态

    通过使用正态分布初始化器逼近高斯目标样本并使用密度和基于粒子的实现方法，证明了 Stein Variational Gradient Descent (SVGD) 及其变体的特性，包括线性收敛和性能优越性，这对于深入理解 SVGD 和 Gaussian variational inference (GVI) 的相关性提供了具体贡献。

    May, 2023

  • Grassmann Stein 变分梯度下降

    本研究提出了一种名为 Grassmann Stein 变分梯度下降 (GSVGD) 的新概念，用于处理维度高的目标分布问题，具备在高维空间中探索低维结构等特性。GSVGD 方法与其他变体方法相比，更新打分函数和数据的投影器并通过一种耦合的 Grassmann 值扩散进程确定最优投影器。理论和实验结果表明，GSVGD 在高维问题中具有高效的状态空间探索能力。

    Feb, 2022

  • 关于斯坦变分神经网络集成

    本研究研究了使用不同的 Stein 变分梯度下降方法来解决深度神经网络的 Bayesian 框架的问题，通过改善功能多样性和不确定性估计，逼近真实的 Bayesian 后验，并展示使用随机 SVGD 更新可以进一步改善性能。

    Jun, 2021

  • Stein 变分梯度下降作为梯度流

    本文针对 Stein 变分梯度下降算法（SVGD）开展了首次理论分析，讨论了其弱收敛性质及通过 Stein 算子引出的新度量结构下的 KL 散度功能梯度流等渐近特性，同时应用弱导数等概念提供了一系列 Stein 算子和 Stein 不等式的结果，包括在弱条件下 Stein 差异的可辨识性的新证明。

    Apr, 2017