利用 Chebyshev 积分时间加速哈密顿蒙特卡罗
研究了用于采样强对数凹密度的哈密顿蒙特卡罗方法在实现时,理想状态下的弛豫时间是 O (κ) 时,其松弛时间(谱间隙的倒数)是 O (κ),这比之前最好的上限 O (κ^1.5) 更优。当使用近乎最优的 ODE 求解器实现时,每一步需要进行 O ((κd)^0.5 (ε^-1)) 个梯度评估,总时间为 O ((κd)^1.5 (ε^-1)),并返回在 2-Wasserstein 距离内的一个 ε- 近似点。
May, 2019
通过研究拟合哈密顿蒙特卡罗采样器的可变积分时间和部分速度刷新之间的联系,我们发现在二次势上,相对于经典恒定积分时间、完全刷新的哈密顿蒙特卡罗法,这种优化方式可以通过 Wasserstein-2 距离以√κ 倍的效率改进。我们还探讨了在更高阶正则性条件下模拟哈密顿动力学的随机积分器的优势。
Sep, 2022
研究了高维度混合蒙特卡洛算法中的哈密顿动力学、接受概率、状态空间和维度,表明为了得到接受概率为 O (1) 的最优性能,需要对步长进行适当缩放,并且该算法需要使用 O (d^(1/4)) 步来遍历状态空间。
Jan, 2010
本文研究哈密顿蒙特卡罗方法在采样强对数凹目标分布时的收敛速度,提出了一个比传统李普希茨海森常数条件更宽松的第三阶正则条件,并证明了二阶 “跳跃点” 算法的收敛速度为 $d^{1/4}$,并在合成数据的仿真实验中得到了验证。
Feb, 2018
介绍了哈密尔顿蒙特卡罗方法 (HMC)—— 基于哈密尔顿动力学的一种采样算法,用于从 Gibbs 密度中采样。重点在于 “理想化” 情况,其中能够精确计算连续轨迹,表明理想化 HMC 能保持 π 并在 f 为强凸和光滑时收敛。
Aug, 2021
基于损失函数自适应地调整参数,通过梯度驱动学习计算积分步数的分布,加上随机性以实现平滑的损失函数曲面,将该方法应用于哈密顿蒙特卡罗算法,优化得到与自相关时间相对应的参数。
Sep, 2023
本文提出了一种基于梯度的算法,允许通过鼓励 Leapfrog 积分器具有高接受率的方式来适应质量矩阵,最大化建议熵的近似值,实验证明该自适应方法可以通过调整质量矩阵来提高 HMC 的性能。
Oct, 2021
本文提出了一种快速的随机 Hamilton Monte Carlo 方法,用于从一个光滑而强烈对数凹的分布中进行采样。通过梯度复杂度来衡量算法的性能,实验结果表明,该算法在采样效率上跑赢了现有的 HMC 和 Stochastic Gradient HMC 方法。
Feb, 2018
给出了使用两种蒙特卡罗采样方法(MALA 和 HMC)在良好条件的分布下性能的下界,并确定了每种方法的最短混合时间和松弛时间。该文还发现了跃点积分和 Chebyshev 多项式之间的新连接。
Jun, 2021
该论文详细调查了数值积分与哈密顿(或混合)蒙特卡罗方法(HMC)之间的关系,并讨论了在提高计算效率和保持几何属性之间的折衷。该论文还对 HMC 保持目标分布维度的行为进行了探讨。
Nov, 2017