Aug, 2021

Hamiltonian Monte Carlo 方法采样简介

PDF
TL;DR介绍了哈密尔顿蒙特卡罗方法 (HMC)—— 基于哈密尔顿动力学的一种采样算法，用于从 Gibbs 密度中采样。重点在于 “理想化” 情况，其中能够精确计算连续轨迹，表明理想化 HMC 能保持 π 并在 f 为强凸和光滑时收敛。
hamiltonian monte carlosamplinggibbs densitystrongly convexsmooth
发现论文，激发创造
  • 随机梯度哈密尔顿蒙特卡罗

    研究了随机梯度 HMC，提出了一种使用带有摩擦项的二阶 Langevin 动力学的变体，以消除噪声梯度的影响，并使用该方法在神经网络和在线贝叶斯矩阵分解任务中验证了其有效性。

    Feb, 2014

  • 多层次汉密尔顿蒙特卡罗

    提出了一种新型的两阶段哈密顿蒙特卡罗算法，通过使用一个廉价的可微分代理模型计算接受率，在第二阶段使用高保真度（HF）数值求解器评估后验分布，以高效地逼近后验梯度并产生准确的后验样本，成功地解决了哈密顿蒙特卡罗算法在计算和统计效率方面的限制，并在计算后验统计量时保持或改进准确性。

    May, 2024

  • 具有能量守恒子抽样的 Hamiltonian Monte Carlo

    本文提出利用一种基于 HMC-within-Gibbs 框架的方法来实现参数的高效子采样，并且利用一个伪边缘 MH 步骤来更新子采样，然后使用基于当前子采样的 HMC 步骤来更新参数，在实验中，我们展示了这种子采样方法的速度和精度，同时还探讨了现有子采样 HMC 算法的局限性。

    Aug, 2017

  • 基于熵的自适应 Hamiltonian Monte Carlo

    本文提出了一种基于梯度的算法，允许通过鼓励 Leapfrog 积分器具有高接受率的方式来适应质量矩阵，最大化建议熵的近似值，实验证明该自适应方法可以通过调整质量矩阵来提高 HMC 的性能。

    Oct, 2021

  • 混合离散连续变量的混合哈密顿蒙特卡罗方法

    提出了一种名为 Mixed HMC (M-HMC) 的新型 MCMC 算法，该算法可并行演化离散和连续变量，以解决 HMC 方法不能应用于具有混合离散和连续变量的分布的基本局限性，并在三个实验中证明了 M-HMC 算法优于现有方法的性能。

    Sep, 2019

  • 使用哈密尔顿动力学的 MCMC

    本文介绍了 Hamiltonian Monte Carlo 算法的理论和实践方面，并提出了一些改进，包括使用状态窗口来决定接受或拒绝、使用快速逼近计算轨迹、在轨迹过程中进行调温处理以处理孤立模式和防止无用轨迹占用大量计算时间的快捷方法。

    Jun, 2012

  • Hamiltonian Monte Carlo 的概念介绍

    本综述详细介绍哈密尔顿蒙特卡罗的理论基础，聚焦于发展和优化方法的原理性直观理解，为实践者和统计学家提供了哈密尔顿蒙特卡罗的工作原理，成功时和失败时的坚实掌握。

    Jan, 2017

  • 相对论蒙特卡罗

    提出了基于相对论动力学的哈密顿蒙特卡罗方法，通过引入粒子的最大速度解决哈密顿蒙特卡罗在大时间离散化和空间几何不匹配时的性能问题，并开发了基于此的相对论随机梯度下降算法，与深度学习中的优化方法如梯度截断、RMSprop、Adagrad 和 Adam 有趣的关系，实验表明这种算法比经典牛顿变体和 Adam 表现更好。

    Sep, 2016

  • 随机方差减少的哈密顿蒙特卡洛方法

    本文提出了一种快速的随机 Hamilton Monte Carlo 方法，用于从一个光滑而强烈对数凹的分布中进行采样。通过梯度复杂度来衡量算法的性能，实验结果表明，该算法在采样效率上跑赢了现有的 HMC 和 Stochastic Gradient HMC 方法。

    Feb, 2018

  • 含哈密顿蒙特卡罗的变分推断

    本研究提出了一种使用 Hamiltonian Monte Carlo 算法中的 MCMC 步骤来改善后验分布逼近的方法，并通过实验结果证明了这种方法的理论优势和性能改进。

    Sep, 2016