Riemann 流形哈密尔顿蒙特卡罗的通用度量
研究了一种基于 Riemann 流形的 Hamiltonian Monte Carlo 采样算法,通过自适应方法规避了调整提议密度的需求,使得即使在高维状态空间建模中,也能更加高效地采样,该方法在众多实证分析中表现出较大的优越性,Matlab 代码在 http://www.dcs.gla.ac.uk/inference/rmhmc 可复现。
Jul, 2009
本文提出了一种新的度量学习方法(几何缓和哈密顿蒙特卡罗法),以改善 Hamiltonian Monte Carlo 在多模态目标分布中的性能,并通过仿真数据表明,该方法可以显著提高有效样本量。
Apr, 2016
本文提出一种新型的利用 Monge patch 嵌入为高维欧几里得空间,并采用由直接几何推理确定的诱导度量的可替代性黎曼度量,该度量仅需要一阶梯度信息和快速的逆和行列式,从而将计算迭代的复杂度从三次多项式降低到二次多项式,使得 Lagrangian Monte Carlo 在该度量下能够高效地探索目标分布。
Feb, 2022
本文提出了第一步: Probabilistic Path HMC,该算法可以在具有错综复杂结构的空间中进行采样分布,并使用该算法对一些结构复杂的空间(如 Phylogenetic Trees)进行了有效实现。
Feb, 2017
提出了基于相对论动力学的哈密顿蒙特卡罗方法,通过引入粒子的最大速度解决哈密顿蒙特卡罗在大时间离散化和空间几何不匹配时的性能问题,并开发了基于此的相对论随机梯度下降算法,与深度学习中的优化方法如梯度截断、RMSprop、Adagrad 和 Adam 有趣的关系,实验表明这种算法比经典牛顿变体和 Adam 表现更好。
Sep, 2016
介绍了最近为解决具有非可分离哈密顿量的物理动机系统导出的辛积分方案,并展示了它与 Riemann 流形哈密顿蒙特卡罗 (RMHMC) 的相关性,并提供了目前使用的广义跳跃辛积分器的替代方案,通过这种方法,我们能够减少每个跳跃步的高阶导数计算的数量。探讨了该积分器的影响,并展示了其在减少 RMHMC 的计算负担方面的效果。我们的代码提供在一个新的开源 Python 包 hamiltorch 中。
Oct, 2019
通过几何 Langevin MCMC 从一个 Riemann 流形 M 上的 Gibbs 分布 dπ* 进行高效采样的任务,我们提出了一种在实践中可实现的算法,该算法涉及在随机高斯方向上计算指数映射。通过对几何 Euler-Murayama 方案的离散化误差进行界定,假设▽h 是 Lipschitz 的且 M 具有有界的切向曲率,我们的误差界限与欧几里得 Euler-Murayama 的误差相匹配,结合 Kendall-Cranston 耦合下的几何 Langevin 扩散的收缩保证,我们证明 Langevin MCMC 迭代在经过~O (ε^-2) 次步骤后,与 π* 之间的 Wasserstein 距离小于 ε,这与欧几里得 Langevin MCMC 的迭代复杂性相匹配。我们的结果适用于具有非凸 h 和具有负 Ricci 曲率的一般设置。在额外的假设下,即 Riemann 曲率张量具有有界导数且 π* 满足 CD (・,∞) 条件,我们分析了 Langevin MCMC 的随机梯度版本,并将其迭代复杂性限制在~O (ε^-2) 次。
Feb, 2024
本文介绍和分析了一种随机的 Hamiltonian Monte Carlo 方法 (RHMC) 以解决在 HMC 中调整哈密顿流的时间时,通常难以解决计算成本和采样质量之间的权衡问题;证明了 RHMC 是几何收敛的,并且通过多维高斯分布的上下文证明了 RHMC 的采样效率相对于恒定时间 HMC 是规则的。
Nov, 2015
提出了一种名为 Mixed HMC (M-HMC) 的新型 MCMC 算法,该算法可并行演化离散和连续变量,以解决 HMC 方法不能应用于具有混合离散和连续变量的分布的基本局限性,并在三个实验中证明了 M-HMC 算法优于现有方法的性能。
Sep, 2019
本文讨论了 Hamiltonian Monte Carlo 算法的不可约性和几何遍历性,考虑了较为宽松和严格的条件,得出了 HMC 采样器具有几何遍历性的可验证条件。
Apr, 2017