本文提出了一种基于梯度的算法,允许通过鼓励 Leapfrog 积分器具有高接受率的方式来适应质量矩阵,最大化建议熵的近似值,实验证明该自适应方法可以通过调整质量矩阵来提高 HMC 的性能。
Oct, 2021
该论文提出了一个基于 Hamiltonian Monte Carlo 的优化准则,旨在调整算法的关键性步长值,并通过诊断监测来确保其有效性,从而使接受概率调整到 0.6≤a≤0.9 之间。
Nov, 2014
研究了随机梯度 HMC,提出了一种使用带有摩擦项的二阶 Langevin 动力学的变体,以消除噪声梯度的影响,并使用该方法在神经网络和在线贝叶斯矩阵分解任务中验证了其有效性。
Feb, 2014
本文提出了一种基于 Chebyshev 多项式根的变化积分时间的 HMC 加速采样方法,可以在更少的迭代次数内将理想 HMC 方法在 Wasserstein-2 距离上的误差降至小于给定的值,即提高了采样的效率。
Jul, 2022
本研究提出使用基于梯度的学习方法来自适应马尔可夫链蒙特卡罗(MCMC)提议分布,应用随机梯度优化能通过定义的最大熵正则化目标函数来优化提议分布的参数,并证明相比传统自适应 MCMC 方法,该方法带有更高的性能;并应用于多元随机步长 Metropolis 和 Metropolis-adjusted Langevin 提议与完整协方差矩阵,并证实该方法在 MCMC 算法中表现优异,包括哈密顿蒙特卡罗方案。
Nov, 2019
本文介绍了一种使用深度神经网络参数化的通用方法来训练 Markov 链蒙特卡洛核,该方法收敛快、混合快,并且我们在一系列简单但具有挑战性的分布中展示了大量的实证收益,并在一个真实的任务中展示了定量和定性的增益:潜变量生成建模。同时,我们还发布了算法的开源 TensorFlow 实现。
Nov, 2017
介绍了哈密尔顿蒙特卡罗方法 (HMC)—— 基于哈密尔顿动力学的一种采样算法,用于从 Gibbs 密度中采样。重点在于 “理想化” 情况,其中能够精确计算连续轨迹,表明理想化 HMC 能保持 π 并在 f 为强凸和光滑时收敛。
Aug, 2021
提出了一种新型的两阶段哈密顿蒙特卡罗算法,通过使用一个廉价的可微分代理模型计算接受率,在第二阶段使用高保真度(HF)数值求解器评估后验分布,以高效地逼近后验梯度并产生准确的后验样本,成功地解决了哈密顿蒙特卡罗算法在计算和统计效率方面的限制,并在计算后验统计量时保持或改进准确性。
May, 2024
研究了高维度混合蒙特卡洛算法中的哈密顿动力学、接受概率、状态空间和维度,表明为了得到接受概率为 O (1) 的最优性能,需要对步长进行适当缩放,并且该算法需要使用 O (d^(1/4)) 步来遍历状态空间。
Jan, 2010
本文提出了一种扩展的 Hamiltonian Monte Carlo 方法,可有效探索具有不连续密度分布的目标分布,通过将概率质量函数嵌入到连续空间中,特别是能有效从序数参数中采样,我们通过不连续 Hamiltonian 动力学的理论进行了解释,并开发了相应的数值解算器。该求解器是第一种能够完全保持 Hamiltonian 的方法,我们应用了该算法到挑战性的后验推断问题中以证明其广泛适用性和竞争性能。
May, 2017