May, 2024

使用软分解的顺序蒙特卡洛算法收敛界限

PDF
TL;DR证明了在顺序蒙特卡洛（SMC）算法生成的样本的经验测度下，函数 f 的方差的界限，其时间复杂度取决于局部而非全局马尔可夫链混合动力学。SMC 是一种马尔可夫链蒙特卡洛（MCMC）方法，从已知分布中抽取 N 个粒子，然后通过一系列分布重新加权和重新采样粒子，每个实例中应用一次用于平滑的马尔可夫链。SMC 的原理是试图减轻多模性问题。然而，对于 SMC 的大多数理论保证是通过假设全局混合时间界限来获得的，这在单模态设置中才有效率。我们证明，可以在真正的多模态设置中获得界限，其混合时间仅取决于局部 MCMC 动力学。
sequential monte carlovariance boundsmarkov chain mixing dynamicsmulti-modalitylocal mcmc dynamics
发现论文，激发创造
  • 图形模型的顺序蒙特卡罗方法

    通过提出一种新的框架，使用顺序蒙特卡罗方法对概率图模型进行推断，其目的是通过针对辅助分布来逼近概率图模型定义的全联合分布，并用于构建一般 PGM 的高维块采样算法。

    Feb, 2014

  • 高维顺序蒙特卡罗方法的稳定性

    研究了在高维问题中，应用序贯蒙特卡洛方法进行采样时普遍出现的效率低下的问题。针对这一问题，提出了使用一系列人工目标密度，通过序贯蒙特卡洛方法进行采样，可用固定数量样本的 SMC 类方法得到精度随维度增加而不降的分布近似，并且引入重采样可以进一步提高重要性权重的可变性，降低蒙特卡洛误差。

    Mar, 2011

  • SMC 是您所需的全部：并行强伸缩

    在贝叶斯推断的一般框架中，目标分布只能以比例常数进行评估。我们发展了一种完全并行的顺序蒙特卡洛 (pSMC) 方法，可以证明其具有并行的强缩放性，即如果允许异步进程数量增长，则时间复杂度（和每个节点内存）保持有界。对于一些贝叶斯推断问题，我们将 pSMC 方法与 MCMC 方法进行了比较。

    Feb, 2024

  • 加权样本的极限定理及其在顺序蒙特卡罗方法中的应用

    本文针对顺序蒙特卡罗方法进行了渐近分析，建立了大数定理和不变原理。作者引入 “加权样本” 一致性和渐近正态性的概念，并导出了构建顺序蒙特卡罗方法中用到的突变和选择过程保留这些属性的条件。作者分析了应用于状态空间模型中的 SMC 算法，展示了如何使用所提出的技术来放松之前报告的工作中使用的技术条件，并提供分析更复杂的序列抽样策略的基础。

    Jul, 2005

  • 使用顺序蒙特卡罗法进行前向平滑

    本文提出了一种基于前向滤波后向平滑算法的在线或正向递归计算附加功能期望值的 SMC 算法，相较于标准路径空间 SMC 估计量，该估计量的渐近方差只会线性增加，可以实现不会受到粒子路径退化问题的在线最大似然参数估计算法。

    Dec, 2010

  • 变分共识蒙特卡罗

    本文提出了一种改进的变分共识蒙特卡洛算法，该算法优化聚合函数以从分布中获得更好的近似目标，并展示了在三个推理任务中的优越性，实验结果表明，在一些情况下，改进后的算法较串行 MCMC 更快而且相对误差降低幅度高达 92%。

    Jun, 2015

  • 变分序贯蒙特卡罗

    本文在变分推理中提出了一种新的逼近分布族：变分顺序蒙特卡罗（VSMC）族，并显示了如何在变分推理中优化它，从而将变分推理和顺序蒙特卡罗相结合，提供了灵活，准确且强大的贝叶斯推理。我们展示了它在状态空间模型，金融数据随机波动模型以及大脑神经电路的深度马尔可夫模型上的实用性。

    May, 2017

  • 在强对数凹分布上快速混合的哈密尔顿蒙特卡罗算法

    本文研究了 Hamiltonian Monte Carlo 算法在强对数凹目标分布上的混合性能，并得出了基于维度的混合度量和用于从 π 中采样的 HMC 跳跃步的梯度评估相关定理。

    Aug, 2017

  • 自适应和交互式马尔可夫链蒙特卡罗算法的收敛

    本文介绍一种基于 Markov chain Monte Carlo 算法的新型模拟算法，具有高效采样复杂分布的性能，并介绍一种方法学和理论框架，证明了边际分布的收敛性和大数定律成立的条件， 并且具有一定的泛化性，适用于目标分布为非平稳分布的情况。

    Mar, 2012

  • 改进的并行温度淬火混合时间界限

    本文提出了对于并行淬火算法中的谱缝隙有多项式相关联的一个新的下限，从而改善了现有基于模数总数的指数上限.

    Apr, 2023