可逆 MCMC:一个统一的框架
我们提出了非参数的纠缠马尔科夫链蒙特卡罗(NP-iMCMC)算法,作为一种构建用于普通概率编程语言(PPL)可表示的非参数模型的 MCMC 推理算法的方法。该方法建立在统一的纠缠 MCMC 框架之上,并通过提供一个在维度之间驱动状态移动的一般性过程,表明了 NP-iMCMC 可以推广许多现有的 MCMC 算法以用于非参数模型。
Nov, 2022
该论文描述了一种自动化实现根据概率编程系统中的 Involutive MCMC 核函数的技术,并且利用此技术来检测用户在核函数规范中的错误并利用核函数中的稀疏性以提高效率。
Jul, 2020
该论文旨在统一马尔科夫链蒙特卡洛(MCMC)与机器学习的各种问题,包括黑箱变分推断、自适应 MCMC、理论流构建和辅助传输 MCMC、代理似然 MCMC,并通过一个共同的框架进行泛化与翻译。
Feb, 2024
本研究提出了一种新的深度生成式建模框架 —— 深度阶元生成模型,并将其用于定义新的快速神经 MCMC 算法 ——Involutive Neural MCMC,该算法可在包含辅助变量的状态空间上,通过易于计算的接受率完成 Metropolis-Hastings 更新,从而高效探索多模态分布和快速收敛。
Jun, 2020
本文介绍一种基于 Markov chain Monte Carlo 算法的新型模拟算法,具有高效采样复杂分布的性能,并介绍一种方法学和理论框架,证明了边际分布的收敛性和大数定律成立的条件, 并且具有一定的泛化性,适用于目标分布为非平稳分布的情况。
Mar, 2012
本论文介绍采用马尔可夫链蒙特卡罗方法进行积分的 MCMC 估算器存在固定迭代次数后偏差的问题,并提出使用 Markov 链的耦合以及 Glynn 和 Rhee 的 telescopoc sum 算法来消除偏差,最终得到可并行计算的无偏估算器。我们探讨了该方法在流行的 MCMC 算法中使用的实际耦合,证明了所提出的估算器的理论正确性,并研究了它们相对于底层 MCMC 算法的效率。最后,我们展示了该方法在玩具示例、临界温度附近的 Ising 模型、高维变量选择问题以及由多个模块组成的贝叶斯推断中所遇到的性能和局限性。
Aug, 2017
本文介绍一种采用各向同性高斯平滑处理的框架来解决高维 Markov 链蒙特卡罗采样中存在的难题,通过对具有对数凹的密度下的条件密度进行采样来实现,同时以最小历史方式保持跟踪样本历史, 将采样算法推广到了步行跳跃采样,并通过与其他 Langevin MCMC 算法的比较量化了本文提出的算法的优越性以及其在分布模态之间的 “隧道” 传输能力。
May, 2023
本文介绍了一种名为随机梯度马尔可夫链蒙特卡罗(SGMCMC)的可扩展蒙特卡罗算法,其利用数据子抽样技术降低了 MCMC 的迭代成本,并比较了其效率与 MCMC 在基准示例上的异同。
Jul, 2019
介绍 iPMCMC,一种基于标准和条件顺序蒙特卡洛抽样器交互的 PMCMC 方法,通过实证结果证明了相对于非交互式 PMCMC 抽样器和具有等效内存和计算预算的单个 PMCMC 抽样器,iPMCMC 混合速率的显著提高,并适用于分布式和多核架构。
Feb, 2016
使用通用的概率建模语言和泛用的 Metropolis-Hastings MCMC 算法,通过使用部分世界的 MCMC 状态,探索了一种基于上下文特定贝叶斯网络的可通用的 MCMC 引擎,可进行如记录链接和多目标跟踪之类的推理任务。实验结果表明,我们的通用 MCMC 引擎与特定应用系统相比具有较高的吻合度。
Jun, 2012