正交平行 MCMC 方法用于采样和优化
本文提出两种应用并行处理的方法以替代传统的 Markov Chain Monte Carlo (MCMC),即采用 Sequential Monte Carlo (SMC) 取样器或数据分区,并通过实验测试发现在多核处理器中使用 SMC 比传统串行实现的 MCMC 运行时间快至少 343 倍。
Jan, 2023
本文介绍一种基于 Markov chain Monte Carlo 算法的新型模拟算法,具有高效采样复杂分布的性能,并介绍一种方法学和理论框架,证明了边际分布的收敛性和大数定律成立的条件, 并且具有一定的泛化性,适用于目标分布为非平稳分布的情况。
Mar, 2012
本研究提出一种方法,通过多核处理减少时间来实现在笔记本电脑上并行化单个 MCMC 决策树链,同时结果与常规串行实现相同。同时计算了在多处理器体系结构上利用该方法可以获得的理论和实际运行时间的降低,并表明该方法可以实现快 18 倍的运行时间。
Jul, 2022
本文介绍了 Moeller 等人(2004)的辅助变量方案,该方案用于从具有难以处理的归一化常数的分布中进行准确的抽样,并提出了一种新的 MCMC 算法,提高提议分布的接受概率,并在采样之前消除模型参数估计的需求。
Jun, 2012
该论文提出了一种并行的马尔可夫链蒙特卡罗算法,能够降低学习过程中的同步需求所带来的通信成本,并成功地实现了在多台机器上独立处理多个数据子集,从而生成大数据集的后验分布样本。
Nov, 2013
本文介绍了一种名为随机梯度马尔可夫链蒙特卡罗(SGMCMC)的可扩展蒙特卡罗算法,其利用数据子抽样技术降低了 MCMC 的迭代成本,并比较了其效率与 MCMC 在基准示例上的异同。
Jul, 2019
介绍 iPMCMC,一种基于标准和条件顺序蒙特卡洛抽样器交互的 PMCMC 方法,通过实证结果证明了相对于非交互式 PMCMC 抽样器和具有等效内存和计算预算的单个 PMCMC 抽样器,iPMCMC 混合速率的显著提高,并适用于分布式和多核架构。
Feb, 2016
在贝叶斯推断的一般框架中,目标分布只能以比例常数进行评估。我们发展了一种完全并行的顺序蒙特卡洛 (pSMC) 方法,可以证明其具有并行的强缩放性,即如果允许异步进程数量增长,则时间复杂度(和每个节点内存)保持有界。对于一些贝叶斯推断问题,我们将 pSMC 方法与 MCMC 方法进行了比较。
Feb, 2024
本文介绍了在贝叶斯分析中后验计算的主要范例:马尔可夫蒙特卡罗方法。我们提出了一种最优化方法,将计算时间和近似误差结合起来,并在均匀混合马尔可夫链的设置中进行了广泛的推广,表明了好的近似在实际应用中的重要性,如 $n$ 个逻辑回归和高斯处理的低秩逼近。
Aug, 2015