黎曼哈密顿蒙特卡罗的收敛速率和更快的多面体体积计算
通过几何 Langevin MCMC 从一个 Riemann 流形 M 上的 Gibbs 分布 dπ* 进行高效采样的任务,我们提出了一种在实践中可实现的算法,该算法涉及在随机高斯方向上计算指数映射。通过对几何 Euler-Murayama 方案的离散化误差进行界定,假设▽h 是 Lipschitz 的且 M 具有有界的切向曲率,我们的误差界限与欧几里得 Euler-Murayama 的误差相匹配,结合 Kendall-Cranston 耦合下的几何 Langevin 扩散的收缩保证,我们证明 Langevin MCMC 迭代在经过~O (ε^-2) 次步骤后,与 π* 之间的 Wasserstein 距离小于 ε,这与欧几里得 Langevin MCMC 的迭代复杂性相匹配。我们的结果适用于具有非凸 h 和具有负 Ricci 曲率的一般设置。在额外的假设下,即 Riemann 曲率张量具有有界导数且 π* 满足 CD (・,∞) 条件,我们分析了 Langevin MCMC 的随机梯度版本,并将其迭代复杂性限制在~O (ε^-2) 次。
Feb, 2024
研究了一种基于 Riemann 流形的 Hamiltonian Monte Carlo 采样算法,通过自适应方法规避了调整提议密度的需求,使得即使在高维状态空间建模中,也能更加高效地采样,该方法在众多实证分析中表现出较大的优越性,Matlab 代码在 http://www.dcs.gla.ac.uk/inference/rmhmc 可复现。
Jul, 2009
研究了用于采样强对数凹密度的哈密顿蒙特卡罗方法在实现时,理想状态下的弛豫时间是 O (κ) 时,其松弛时间(谱间隙的倒数)是 O (κ),这比之前最好的上限 O (κ^1.5) 更优。当使用近乎最优的 ODE 求解器实现时,每一步需要进行 O ((κd)^0.5 (ε^-1)) 个梯度评估,总时间为 O ((κd)^1.5 (ε^-1)),并返回在 2-Wasserstein 距离内的一个 ε- 近似点。
May, 2019
本文提出了一种快速的随机 Hamilton Monte Carlo 方法,用于从一个光滑而强烈对数凹的分布中进行采样。通过梯度复杂度来衡量算法的性能,实验结果表明,该算法在采样效率上跑赢了现有的 HMC 和 Stochastic Gradient HMC 方法。
Feb, 2018
通过一种新的耦合方法,我们证明了 Hamiltonian Monte Carlo 算法的转换步对于经过精心设计的 Kantorovich(L1Wasserstein)距离是收缩的。 收敛速率的下界是明确的,全局凸性不是必需的,因此包括多模式目标分布。 收缩性的显式量化界限直接推出了近似到给定误差的稳态分布所需的步骤数。这些界限表明,如果调整 Hamiltonian 动力学的持续时间,则 HMC 可以克服扩散行为。
May, 2018
通过基于梯度范式的均值紧密集中证明了 Metropolized Hamiltonian Monte Carlo 算法在从强 logconcave 分布中进行采样方面的状态最前沿,通过介绍不同于先前文献的限制和新的降低技术,我们提出了高精度混合时间结果, 大大优化了传统的 Metropolized first-order 方法。
Feb, 2020
本文研究了 Hamiltonian Monte Carlo 算法在强对数凹目标分布上的混合性能,并得出了基于维度的混合度量和用于从 π 中采样的 HMC 跳跃步的梯度评估相关定理。
Aug, 2017
本文提出基于非可逆分段确定性马尔可夫过程的 Bouncy Particle Sampler 算法,通过在均匀和不均匀 Poisson 过程到达时弹跳并随机扰动速度,使粒子探测兴趣状态空间。经过充分的正则性条件分析,本文证明了该算法的一部分和其相应的速度在空间维度趋于无穷时弱收敛于随机哈密顿蒙特卡罗 (RHMC) 算法。通过耦合思想和 Hypocoercivity 技术,我们还建立了 RHMC 算法在具有有界 Hessian 的强对数凹目标上的无维收敛速率。
Aug, 2018
研究采用未校准 Langevin Monte Carlo 算法从目标分布采样当势能满足强弛散条件、具有 Lipschitz 梯度和首阶平滑性,证明其在 Chi-squared divergence 和 Renyi divergence 下,迭代一定步数后可保证达到目标的 ε 邻域。
Jul, 2020
针对欧几里得空间中相等和不等约束定义的流形,我们描述并分析了一些蒙特卡洛方法,其中提出了一个采用正交投影进行采样的 MCMC 采样器,来计算该流形上定义的非归一化概率分布。我们使用这个采样器来开发一个多阶段算法,并提供单次运行误差估计,以计算这种流形上的积分。计算实验表明算法和误差估计在实践中成立。该方法应用于计算不同粘性硬球体系的熵,从而预测硬粘球链环变得优于链时的温度或相互作用能量。
Feb, 2017