嵌套顺序蒙特卡罗方法
本文介绍了一种新的适应性 SMD 方法,该方法使用了 Kullback-Leibler 散度的近似来自动适应提议分布,该方法非常灵活,适用于任何参数化的提议分布,并支持在线和批处理变量,我们使用新框架来适应基于神经网络的强大提议分布,从而导致神经自适应序贯蒙特卡洛,实验表明,在非线性状态空间模型中,NASMC 显着改善了推断,优于自适应提议方法,包括扩展卡尔曼和无味粒子滤波器,也表明当 NASMC 用作粒子分辨率 Metropolis Hastings 的子程序时,改进的推断可转化为参数学习的改进。最后,我们展示 NASMC 能够训练潜在变量递归神经网络(LV-RNN),达到与多态音乐建模的最新水平竞争的结果。NASMC 可以看作是将自适应 SMC 方法与最近的可扩展的黑箱变分推理工作之间的桥梁。
Jun, 2015
本文针对顺序蒙特卡罗方法进行了渐近分析,建立了大数定理和不变原理。作者引入 “加权样本” 一致性和渐近正态性的概念,并导出了构建顺序蒙特卡罗方法中用到的突变和选择过程保留这些属性的条件。作者分析了应用于状态空间模型中的 SMC 算法,展示了如何使用所提出的技术来放松之前报告的工作中使用的技术条件,并提供分析更复杂的序列抽样策略的基础。
Jul, 2005
通过提出一种新的框架,使用顺序蒙特卡罗方法对概率图模型进行推断,其目的是通过针对辅助分布来逼近概率图模型定义的全联合分布,并用于构建一般 PGM 的高维块采样算法。
Feb, 2014
研究了在高维问题中,应用序贯蒙特卡洛方法进行采样时普遍出现的效率低下的问题。针对这一问题,提出了使用一系列人工目标密度,通过序贯蒙特卡洛方法进行采样,可用固定数量样本的 SMC 类方法得到精度随维度增加而不降的分布近似,并且引入重采样可以进一步提高重要性权重的可变性,降低蒙特卡洛误差。
Mar, 2011
利用自动编码序列蒙特卡罗的方法模型和提议学习,通过序贯蒙特卡罗的效率执行结构化概率模型的推理并利用深度神经网络对复杂的条件概率分布进行建模。实现同时学习深度生成模型的模型和提议适应的快速、易于实现和可扩展的方法。
May, 2017
通过先前推理的后验估计,训练一种判别模型,即神经网络,来逼近最优提议分布,最终在 Anglican 概率编程系统中呈现一种非参数模型中基于数据驱动提议的实例,并表明数据驱动提议可以显著提高推理性能,从而需要更少粒子进行良好的后验估计。
Dec, 2015
本文在变分推理中提出了一种新的逼近分布族:变分顺序蒙特卡罗(VSMC)族,并显示了如何在变分推理中优化它,从而将变分推理和顺序蒙特卡罗相结合,提供了灵活,准确且强大的贝叶斯推理。我们展示了它在状态空间模型,金融数据随机波动模型以及大脑神经电路的深度马尔可夫模型上的实用性。
May, 2017
在贝叶斯推断的一般框架中,目标分布只能以比例常数进行评估。我们发展了一种完全并行的顺序蒙特卡洛 (pSMC) 方法,可以证明其具有并行的强缩放性,即如果允许异步进程数量增长,则时间复杂度(和每个节点内存)保持有界。对于一些贝叶斯推断问题,我们将 pSMC 方法与 MCMC 方法进行了比较。
Feb, 2024