简化蒙特卡洛序列重采样的方差缩减
研究了在高维问题中,应用序贯蒙特卡洛方法进行采样时普遍出现的效率低下的问题。针对这一问题,提出了使用一系列人工目标密度,通过序贯蒙特卡洛方法进行采样,可用固定数量样本的 SMC 类方法得到精度随维度增加而不降的分布近似,并且引入重采样可以进一步提高重要性权重的可变性,降低蒙特卡洛误差。
Mar, 2011
本文针对顺序蒙特卡罗方法进行了渐近分析,建立了大数定理和不变原理。作者引入 “加权样本” 一致性和渐近正态性的概念,并导出了构建顺序蒙特卡罗方法中用到的突变和选择过程保留这些属性的条件。作者分析了应用于状态空间模型中的 SMC 算法,展示了如何使用所提出的技术来放松之前报告的工作中使用的技术条件,并提供分析更复杂的序列抽样策略的基础。
Jul, 2005
提出了一种称为边际粒子滤波器的顺序蒙特卡罗算法,可以直接操作边际分布从而避免在目标分布维度不断增加时进行重要性抽样。同时,通过该算法提出了改进版的辅助粒子滤波器并给出了理论和实证结果,证明了该方法相较于传统粒子滤波可降低方差,并给出了把算法复杂度降至 O (N logN) 的技巧。
Jul, 2012
本文提出了一种基于 Heuristic 和 Bandit 反馈的在线优化算法,可以寻找一种重要性采样分布序列,竞争力可以与后见之明得到的最佳固定分布相媲美,并在实验验证中证明了该算法在多个数据集和设置下有效的优点。
Feb, 2018
本文提出了一种改进 reSGLD 的方法来加速处理非凸学习,采用方差约减的策略并在 Markov jump process 下进行非渐进的分析,结果表明我们在优化和不确定性预测方面实现了最先进的效果。
Oct, 2020
本文介绍了利用连续时间马尔可夫过程探索目标分布的一种替代方法,该方法可以提供无拒绝的 MCMC 抽样方案,并且在采样混合离散 - 连续分布和被限制在平滑连通域上的分布时很有效。
Oct, 2015
本文提出了一种快速的随机 Hamilton Monte Carlo 方法,用于从一个光滑而强烈对数凹的分布中进行采样。通过梯度复杂度来衡量算法的性能,实验结果表明,该算法在采样效率上跑赢了现有的 HMC 和 Stochastic Gradient HMC 方法。
Feb, 2018
本研究探讨了一种名为 Differentiable AIS 的抽样方法,尝试通过添加重采样步骤来提高样本有效性,并在实证和理论上验证了该方法的可行性。
Apr, 2023
马尔可夫链蒙特卡洛 (MCMC) 方法通过对复杂统计分布进行局部探索来模拟,尽管避免了对目标的具体分析表达式的繁琐要求,但这种对不确定参数空间的随机探索需要大量样本,而且随着参数维度的增加而增加计算复杂性。我们将目标分布视为一个映射,其中参数的无限维空间包含一些确定性子流形,并提出了一种广义能量度量,称为加权 Riesz 能量,通过成对交互生成一些点以离散化这些测地子流形。我们研究了这些点的属性,称之为 Riesz 粒子,并将其嵌入到顺序 MCMC 中,发现更少的评估可以实现更高的接受率,我们通过针对具有合成数据的线性高斯状态空间模型和现实世界数据的非线性随机波动模型的实验比较分析进行了验证。
Dec, 2023