May, 2024

交替方向 SGHMC 算法的收敛性分析

PDF
TL;DR我们研究了具有跳跃点积分的 Hamiltonian Monte Carlo 算法在目标分布的随机梯度神谕上的收敛速率。我们的方法通过 Alternating Directions 的新颖步骤，扩展了标准 HMC 算法的使用范围，使其能够使用一般辅助分布。在此基础上，我们基于驱动算法的底层马尔可夫链的狄利克雷形式的研究进行收敛分析。为此，我们对具有一般形式的动能和势能函数的 Hamilton 运动的 leapfrog 积分器的误差进行了详细分析。我们表征了收敛速率对问题维度、目标和辅助分布的函数特性以及神谕的质量等关键参数的明确依赖关系。
发现论文，激发创造
  • 关于带高阶积分器的随机梯度 MCMC 算法的收敛性问题

    本文研究采用高阶积分器的随机梯度 MCMC 算法的有限时间收敛性和渐近不变测度，结果表明采用 2 阶积分器的 SGHMC 在 $L$ 次迭代后，其后验平均的均方误差（MSE）达到 $L^{-4/5}$ 的最佳收敛速度。同时，我们还开发出一种能够在固定或特定递减步长下实现该收敛速度的收敛方法，并在实验中验证了其在大规模应用中的优越性。

    Oct, 2016

  • 基于熵的自适应 Hamiltonian Monte Carlo

    本文提出了一种基于梯度的算法，允许通过鼓励 Leapfrog 积分器具有高接受率的方式来适应质量矩阵，最大化建议熵的近似值，实验证明该自适应方法可以通过调整质量矩阵来提高 HMC 的性能。

    Oct, 2021

  • 多步梯度法对 Metropolized Hamiltonian Monte Carlo 的快速混合优势

    本文研究 Hamiltonian Monte Carlo 算法及其变种 Metropolized HMC 在连续空间中从光滑概率密度函数中提取样本的能力，并提供了关于混合时间的理论证明和分析。

    May, 2019

  • 二阶哈密顿蒙特卡洛维度紧致界

    本文研究哈密顿蒙特卡罗方法在采样强对数凹目标分布时的收敛速度，提出了一个比传统李普希茨海森常数条件更宽松的第三阶正则条件，并证明了二阶 “跳跃点” 算法的收敛速度为 $d^{1/4}$，并在合成数据的仿真实验中得到了验证。

    Feb, 2018

  • 随机梯度哈密尔顿蒙特卡罗

    研究了随机梯度 HMC，提出了一种使用带有摩擦项的二阶 Langevin 动力学的变体，以消除噪声梯度的影响，并使用该方法在神经网络和在线贝叶斯矩阵分解任务中验证了其有效性。

    Feb, 2014

  • 混合蒙特卡罗算法的最优调节

    研究了高维度混合蒙特卡洛算法中的哈密顿动力学、接受概率、状态空间和维度，表明为了得到接受概率为 O (1) 的最优性能，需要对步长进行适当缩放，并且该算法需要使用 O (d^(1/4)) 步来遍历状态空间。

    Jan, 2010

  • Hamiltonian Monte Carlo 收敛性研究

    本文讨论了 Hamiltonian Monte Carlo 算法的不可约性和几何遍历性，考虑了较为宽松和严格的条件，得出了 HMC 采样器具有几何遍历性的可验证条件。

    Apr, 2017

  • 几何积分和哈密尔顿蒙特卡罗法

    该论文详细调查了数值积分与哈密顿（或混合）蒙特卡罗方法（HMC）之间的关系，并讨论了在提高计算效率和保持几何属性之间的折衷。该论文还对 HMC 保持目标分布维度的行为进行了探讨。

    Nov, 2017

  • Hamiltonian Monte Carlo 的耦合与收敛

    通过一种新的耦合方法，我们证明了 Hamiltonian Monte Carlo 算法的转换步对于经过精心设计的 Kantorovich（L1Wasserstein）距离是收缩的。 收敛速率的下界是明确的，全局凸性不是必需的，因此包括多模式目标分布。 收缩性的显式量化界限直接推出了近似到给定误差的稳态分布所需的步骤数。这些界限表明，如果调整 Hamiltonian 动力学的持续时间，则 HMC 可以克服扩散行为。

    May, 2018

  • 多层次汉密尔顿蒙特卡罗

    提出了一种新型的两阶段哈密顿蒙特卡罗算法，通过使用一个廉价的可微分代理模型计算接受率，在第二阶段使用高保真度（HF）数值求解器评估后验分布，以高效地逼近后验梯度并产生准确的后验样本，成功地解决了哈密顿蒙特卡罗算法在计算和统计效率方面的限制，并在计算后验统计量时保持或改进准确性。

    May, 2024