在线变分顺序蒙特卡洛
本文在变分推理中提出了一种新的逼近分布族:变分顺序蒙特卡罗(VSMC)族,并显示了如何在变分推理中优化它,从而将变分推理和顺序蒙特卡罗相结合,提供了灵活,准确且强大的贝叶斯推理。我们展示了它在状态空间模型,金融数据随机波动模型以及大脑神经电路的深度马尔可夫模型上的实用性。
May, 2017
本文提出了一种可扩展的近似贝叶斯推断方法,在泛型状态空间模型中,相较于粒子 MCMC 提供了动态潜在状态和模型静态参数的完全贝叶斯推断,从而在多元随机波动模型和自激兴奋点过程模型中实现了可扩展的推断。
May, 2018
本文介绍了一种新型的高效样本推断框架,变分贝叶斯蒙特卡罗(VBMC),可用于难以处理的黑盒似然的后验分布和模型评估。该方法结合了变分推断和基于高斯过程的主动采样贝叶斯积分,并在合成和实际数据的测试中表现出很好的性能。
Oct, 2018
通过提出一种新的框架,使用顺序蒙特卡罗方法对概率图模型进行推断,其目的是通过针对辅助分布来逼近概率图模型定义的全联合分布,并用于构建一般 PGM 的高维块采样算法。
Feb, 2014
用一种新的非参数泛化逼近方法代替 VI,包含了一种 Langevin-type 算法,其中一部分潜变量是从 Markov 链的早期样本中平均的,以控制地打破统计相关性,从而使链更快混合。通过在 ResNet-20 上对 CIFAR-10,SVHN 和 FMNIST 进行测试,我们发现与 SG-MCMC 和 VI 相比,在收敛速度和 / 或最终准确性方面都有所提高。
Jul, 2021
该论文介绍了利用稀疏高斯过程进行非线性状态空间建模的高效变分贝叶斯学习的过程,以及后续的可处理的非线性动态系统建模、模型容量和计算成本的平衡、避免过度拟合以及使用混合推理方法(变分贝叶斯和顺序蒙特卡洛)进行主算法等。
Jun, 2014
本文介绍了一种新的适应性 SMD 方法,该方法使用了 Kullback-Leibler 散度的近似来自动适应提议分布,该方法非常灵活,适用于任何参数化的提议分布,并支持在线和批处理变量,我们使用新框架来适应基于神经网络的强大提议分布,从而导致神经自适应序贯蒙特卡洛,实验表明,在非线性状态空间模型中,NASMC 显着改善了推断,优于自适应提议方法,包括扩展卡尔曼和无味粒子滤波器,也表明当 NASMC 用作粒子分辨率 Metropolis Hastings 的子程序时,改进的推断可转化为参数学习的改进。最后,我们展示 NASMC 能够训练潜在变量递归神经网络(LV-RNN),达到与多态音乐建模的最新水平竞争的结果。NASMC 可以看作是将自适应 SMC 方法与最近的可扩展的黑箱变分推理工作之间的桥梁。
Jun, 2015
我们提出了一种基于模型的时间序列聚类方法,使用混合通用状态空间模型(MSSMs)。该方法的优势在于能够根据具体的时间序列使用适当的时间序列模型,从而提高聚类和预测精度,并增强估计参数的解释性。该方法使用随机变分推断(stochastic variational inference)来估计 MSSMs 的参数,并利用具有归一化流(normalizing flow)的神经网络作为变分估计器来估计任意状态空间模型的潜在变量。可以使用贝叶斯信息准则(Bayesian information criterion)来估计聚类数量,并通过引入熵退火等优化技巧来防止 MSSMs 陷入局部最优。在模拟数据集上的实验表明,该方法对于聚类、参数估计和聚类数量估计是有效的。
Jun, 2024
利用自动编码序列蒙特卡罗的方法模型和提议学习,通过序贯蒙特卡罗的效率执行结构化概率模型的推理并利用深度神经网络对复杂的条件概率分布进行建模。实现同时学习深度生成模型的模型和提议适应的快速、易于实现和可扩展的方法。
May, 2017
本文提出了一种基于前向滤波后向平滑算法的在线或正向递归计算附加功能期望值的 SMC 算法,相较于标准路径空间 SMC 估计量,该估计量的渐近方差只会线性增加,可以实现不会受到粒子路径退化问题的在线最大似然参数估计算法。
Dec, 2010