通过先前推理的后验估计,训练一种判别模型,即神经网络,来逼近最优提议分布,最终在 Anglican 概率编程系统中呈现一种非参数模型中基于数据驱动提议的实例,并表明数据驱动提议可以显著提高推理性能,从而需要更少粒子进行良好的后验估计。
Dec, 2015
本文介绍了一种新的适应性 SMD 方法,该方法使用了 Kullback-Leibler 散度的近似来自动适应提议分布,该方法非常灵活,适用于任何参数化的提议分布,并支持在线和批处理变量,我们使用新框架来适应基于神经网络的强大提议分布,从而导致神经自适应序贯蒙特卡洛,实验表明,在非线性状态空间模型中,NASMC 显着改善了推断,优于自适应提议方法,包括扩展卡尔曼和无味粒子滤波器,也表明当 NASMC 用作粒子分辨率 Metropolis Hastings 的子程序时,改进的推断可转化为参数学习的改进。最后,我们展示 NASMC 能够训练潜在变量递归神经网络(LV-RNN),达到与多态音乐建模的最新水平竞争的结果。NASMC 可以看作是将自适应 SMC 方法与最近的可扩展的黑箱变分推理工作之间的桥梁。
Jun, 2015
该论文介绍了一种自动发现复杂时间序列数据准确模型的新方法,该方法通过贝叶斯非参数先验和符号空间上的高斯过程时间序列模型,以及蒙特卡洛方法和马尔可夫链蒙特卡洛方法的结合进行有效的后验推断。实证测量表明,相比以往的马尔可夫链蒙特卡洛方法和贪心搜索结构学习算法,我们的方法在相同模型族上可以提供 10 倍至 100 倍的运行时间加速。我们将该方法应用于 1,428 个计量经济学数据集的重要基准的首次大规模评估,结果显示我们的方法能够发现合理的模型,在挑战性数据上相比于常用的统计和神经网络模型,可以提供更准确的点预测和区间预测。
Jul, 2023
在该研究中,我们使用基于粒子方法和变分推断的变分序贯蒙特卡洛(VSMC)方法,在时间上分布了 VSMC 代理 ELBO 的梯度的近似,从而实现了面向数据流的在线学习,能够高效地进行参数估计和粒子提议适应。同时,我们提供了与数据量趋于无穷大时该算法收敛性质的严格理论结果,以及在批处理设置中的出色收敛性和实用性的数值说明。
Dec, 2023
使用序贯蒙特卡罗取样策略来刻画收集一系列模型以及这些模型的参数的后验分布,以及比较其它技术的性能表明,该方法在相等的计算代价和较少的特定应用类型的实施工作情况下总是竞争性的,并且往往比替代技术优越得多。
Mar, 2013
通过提出一种新的框架,使用顺序蒙特卡罗方法对概率图模型进行推断,其目的是通过针对辅助分布来逼近概率图模型定义的全联合分布,并用于构建一般 PGM 的高维块采样算法。
Feb, 2014
本文提出了嵌套顺序蒙特卡罗 (NSMC) 方法,可以采样高维的概率分布,扩展了 SMC 框架并被用于复杂的高维模型和滤波问题中。
Feb, 2015
研究纵观了变分自编码器(VAEs)的训练方法,提出了一种基于熵的自适应方法来优化更紧的变分下界,该方法能适应潜在层次变量模型中复杂的后验几何结构,并获得更高的生成度量。
Aug, 2023
通过学习用于初始化 MCMC 的变分自编码器,实现了宏观的 EBM 采样,并将其与 EBM 和变分自编码器一起使用以生成样本和解决条件生成任务。
Dec, 2020
提出了一种基于序列蒙特卡洛(SMC)引导的推理时方法,能够在后验推理问题的框架下对大型语言模型输出的句法和语义进行控制,包括缺失填充,句法约束下的生成和提示交集等任务,并提供了一个名为 LLaMPPL 的概率编程库以便于对 LLaMA Transformers 进行处理。
Jun, 2023