ICLRJun, 2021

镜像 Stein 算子采样

PDF
TL;DR本研究介绍了一种新的粒子演化采样器，适用于约束域和非欧几里德几何。使用 Stein Variational Mirror Descent 和 Mirrored Stein Variational Gradient Descent 定义一个镜像映射，在双重空间中演化粒子，通过最小化 KL 散度到约束目标分布。 Stein Variational Natural Gradient 利用非欧几里德几何更高效地最小化 KL 散度到无约束目标。通过引入首次开发的一类镜像 Stein 算子和自适应内核来推导这些采样器。证明了这些新的采样器在单纯形上可以精确地逼近分布，在后选择推断中提供有效的置信区间，并且在大规模无约束后验推断中比以前的方法更快地收敛。最后，在目标分布上的可验证条件下，我们建立了我们的新程序的收敛性。
particle evolution samplersstein variational mirror descentmirrored stein variational gradient descentkullback-leibler divergenceconvergence
发现论文，激发创造
  • 论 Stein 变分梯度下降的几何形式

    本文研究贝叶斯推断问题，特别关注于最近引入的斯坦变分梯度下降方法，介绍了该方法的交互粒子系统构建；并通过研究选择合适的正定核函数的问题，提出采用调整尾部的某些不可微核函数，证明在各种数值实验中这种方法具有明显的性能提升。

    Dec, 2019

  • 斯坦变分梯度下降：一种通用贝叶斯推断算法

    本文提出了用于优化的通用变分推理算法，它是梯度下降法的一种自然补充，可以通过一种函数梯度下降来最小化 KL 距离，从而迭代地传输一组粒子以匹配目标分布。经过在各种真实世界模型和数据集上的实证研究，我们的方法与现有的最先进的方法相竞争。我们方法的推导基于一个新的理论结果，它连接了平滑转换下 KL 距离的导数与 Stein's 恒等式以及最近提出的核化的 Stein 距离，这也具有独立的兴趣。

    Aug, 2016

  • Stein 变分梯度下降作为梯度流

    本文针对 Stein 变分梯度下降算法（SVGD）开展了首次理论分析，讨论了其弱收敛性质及通过 Stein 算子引出的新度量结构下的 KL 散度功能梯度流等渐近特性，同时应用弱导数等概念提供了一系列 Stein 算子和 Stein 不等式的结果，包括在弱条件下 Stein 差异的可辨识性的新证明。

    Apr, 2017

  • 使用变分传输和镜像下降在约束域上进行分布式优化的基于粒子的算法

    本文提出了一种基于粒子的迭代算法 —— 反射变分传输（mirrorVT），应用于概率分布的约束优化问题，特别是在单纯形和欧几里得球约束域上，该算法通过推送粒子对定义在对偶空间上的分布流形执行 Wasserstein 梯度下降，实现了概率分布函数的优化，并且在理论分析和模拟实验中验证了其收敛性和有效性。

    Aug, 2022

  • 镜像 Langevin 算法实现高效约束采样

    我们提出了一种新的镜像随机 Langevin 扩散离散化方法，并给出了其收敛性的确定证明。

    Oct, 2020

  • 斯坦神经采样器

    使用神经网络构建的两种采样器，通过训练最小化 Stein discrepancy 的方法，针对非标准化密度函数生成高质量的样本，相对传统采样方法具有更优的收敛性能。

    Oct, 2018

  • 斯坦变分梯度下降的非渐进分析

    本文研究 Stein 变分梯度下降算法（SVGD），该算法通过优化一组粒子来逼近目标概率分布，我们提供了该算法的新颖有限时间分析，并提供了一种下降引理以及收敛速率研究，并将有限粒子实现的 SVGD 与其群体版本进行了收敛结果的对比。

    Jun, 2020

  • 斯坦变分梯度下降作为时刻匹配

    本文提出一种基于 Stein 算子的非参数推断方法，将 Stein 变分梯度下降（SVGD）用于解决推断问题，挖掘出一类函数，即 Stein 匹配集合，从而提供了更好的内核选择方法，并可以将问题转化为拟合 Stein 等式或求解 Stein 方程。

    Oct, 2018

  • Stein 变分牛顿法

    本文提出了一种改进的 Stein 变分梯度下降（SVGD）算法，采用函数空间的 Newton 迭代近似二阶信息以加速算法，同时还介绍了二阶信息在选择核函数时的更有效作用。在多个测试案例中，我们观察到与原始 SVGD 算法相比，有了显著的计算优势。

    Jun, 2018

  • 基于 Stein 方法的一类估计器的收敛速率

    使用斯坦因方法可以通过采样分布的渐变信息来减少蒙特卡罗估计器的方差，本文建立了一类基于斯坦因方法的估计器的理论界限，分析考虑了采样分布和测试函数的平滑程度，状态空间的维数，以及来源于马尔可夫链的非独立样本的情况，这些结果提供了关于基于梯度的估计器快速收敛的见解，以及澄清了这种方法固有的维度问题。

    Mar, 2016