Jun, 2015

神经自适应序贯蒙特卡罗

PDF
TL;DR本文介绍了一种新的适应性 SMD 方法，该方法使用了 Kullback-Leibler 散度的近似来自动适应提议分布，该方法非常灵活，适用于任何参数化的提议分布，并支持在线和批处理变量，我们使用新框架来适应基于神经网络的强大提议分布，从而导致神经自适应序贯蒙特卡洛，实验表明，在非线性状态空间模型中，NASMC 显着改善了推断，优于自适应提议方法，包括扩展卡尔曼和无味粒子滤波器，也表明当 NASMC 用作粒子分辨率 Metropolis　Hastings 的子程序时，改进的推断可转化为参数学习的改进。最后，我们展示 NASMC 能够训练潜在变量递归神经网络（LV-RNN），达到与多态音乐建模的最新水平竞争的结果。NASMC 可以看作是将自适应 SMC 方法与最近的可扩展的黑箱变分推理工作之间的桥梁。
发现论文，激发创造
  • 嵌套顺序蒙特卡罗方法

    本文提出了嵌套顺序蒙特卡罗 (NSMC) 方法，可以采样高维的概率分布，扩展了 SMC 框架并被用于复杂的高维模型和滤波问题中。

    Feb, 2015

  • 使用数据驱动的顺序蒙特卡罗方法在概率编程中

    通过先前推理的后验估计，训练一种判别模型，即神经网络，来逼近最优提议分布，最终在 Anglican 概率编程系统中呈现一种非参数模型中基于数据驱动提议的实例，并表明数据驱动提议可以显著提高推理性能，从而需要更少粒子进行良好的后验估计。

    Dec, 2015

  • 自动模型比较：一种自适应顺序蒙特卡罗方法

    使用序贯蒙特卡罗取样策略来刻画收集一系列模型以及这些模型的参数的后验分布，以及比较其它技术的性能表明，该方法在相等的计算代价和较少的特定应用类型的实施工作情况下总是竞争性的，并且往往比替代技术优越得多。

    Mar, 2013

  • 自编码序列蒙特卡罗

    利用自动编码序列蒙特卡罗的方法模型和提议学习，通过序贯蒙特卡罗的效率执行结构化概率模型的推理并利用深度神经网络对复杂的条件概率分布进行建模。实现同时学习深度生成模型的模型和提议适应的快速、易于实现和可扩展的方法。

    May, 2017

  • 在线变分顺序蒙特卡洛

    在该研究中，我们使用基于粒子方法和变分推断的变分序贯蒙特卡洛（VSMC）方法，在时间上分布了 VSMC 代理 ELBO 的梯度的近似，从而实现了面向数据流的在线学习，能够高效地进行参数估计和粒子提议适应。同时，我们提供了与数据量趋于无穷大时该算法收敛性质的严格理论结果，以及在批处理设置中的出色收敛性和实用性的数值说明。

    Dec, 2023

  • 用神经粒子平滑法从条件序列模型中进行采样

    本文介绍了神经粒子平滑法，一种用于从给定概率模型中采样输入字符串注释的顺序蒙特卡罗方法，通过训练向前看的 LSTM 来改进样本的质量，同时解释了神经模型和神经采样器可被视为处理非常大状态空间上的 HMM 时的低维非线性逼近。

    Apr, 2018

  • 实用 N2 Monte Carlo 方法：边缘粒子滤波器

    提出了一种称为边际粒子滤波器的顺序蒙特卡罗算法，可以直接操作边际分布从而避免在目标分布维度不断增加时进行重要性抽样。同时，通过该算法提出了改进版的辅助粒子滤波器并给出了理论和实证结果，证明了该方法相较于传统粒子滤波可降低方差，并给出了把算法复杂度降至 O (N logN) 的技巧。

    Jul, 2012

  • 图形模型的顺序蒙特卡罗方法

    通过提出一种新的框架，使用顺序蒙特卡罗方法对概率图模型进行推断，其目的是通过针对辅助分布来逼近概率图模型定义的全联合分布，并用于构建一般 PGM 的高维块采样算法。

    Feb, 2014

  • 使用顺序蒙特卡罗法进行前向平滑

    本文提出了一种基于前向滤波后向平滑算法的在线或正向递归计算附加功能期望值的 SMC 算法，相较于标准路径空间 SMC 估计量，该估计量的渐近方差只会线性增加，可以实现不会受到粒子路径退化问题的在线最大似然参数估计算法。

    Dec, 2010

  • 顺序蒙特卡罗取样器邀请

    本文介绍了顺序蒙特卡罗取样器以及它们可能的实现，说明了顺序蒙特卡罗取样器在统计学中的被低估。这些取样器具有执行顺序推断和利用并行处理资源等潜在优势。

    Jul, 2020