hamiltonian monte carlo (HMC) is a popular markov chain monte carlo (MCMC)
algorithm to sample from an unnormalized probability distribution. A leapfrog
integrator is commonly used to implement HMC in practice, b
提出了基于相对论动力学的哈密顿蒙特卡罗方法,通过引入粒子的最大速度解决哈密顿蒙特卡罗在大时间离散化和空间几何不匹配时的性能问题,并开发了基于此的相对论随机梯度下降算法,与深度学习中的优化方法如梯度截断、RMSprop、Adagrad 和 Adam 有趣的关系,实验表明这种算法比经典牛顿变体和 Adam 表现更好。
该研究提出了一种新颖的学习从离散化动力学中保留某些能量函数的采样器中的质量矩阵的技术。采用以前的动态学习 Monte Carlo EM 框架中的采样步骤中使用的现有动力学,并使用一种新颖的在线技术在 M 步中学习质量矩阵。此外,还提出一种通过从跳字动力学中的采样误差估计自适应设置 E 步中收集的样本数量的方法,使用标准的哈密顿蒙特卡罗 (HMC) 以及新的随机算法,如 SGHMC 和 SGNHT,在合成和真实高维采样场景中表现出强大的性能。