Feb, 2018

二阶哈密顿蒙特卡洛维度紧致界

PDF
TL;DR本文研究哈密顿蒙特卡罗方法在采样强对数凹目标分布时的收敛速度，提出了一个比传统李普希茨海森常数条件更宽松的第三阶正则条件，并证明了二阶 “跳跃点” 算法的收敛速度为 $d^{1/4}$，并在合成数据的仿真实验中得到了验证。
hamiltonian monte carlolog-concave distributionsregularity propertybayesian logistic regressiongradient evaluations
发现论文，激发创造
  • 在强对数凹分布上快速混合的哈密尔顿蒙特卡罗算法

    本文研究了 Hamiltonian Monte Carlo 算法在强对数凹目标分布上的混合性能，并得出了基于维度的混合度量和用于从 π 中采样的 HMC 跳跃步的梯度评估相关定理。

    Aug, 2017

  • 强对数凹分布的哈密顿蒙特卡罗优化收敛速率

    研究了用于采样强对数凹密度的哈密顿蒙特卡罗方法在实现时，理想状态下的弛豫时间是 O (κ) 时，其松弛时间（谱间隙的倒数）是 O (κ)，这比之前最好的上限 O (κ^1.5) 更优。当使用近乎最优的 ODE 求解器实现时，每一步需要进行 O ((κd)^0.5 (ε^-1)) 个梯度评估，总时间为 O ((κd)^1.5 (ε^-1))，并返回在 2-Wasserstein 距离内的一个 ε- 近似点。

    May, 2019

  • 高阶 Langevin 拓扑在 Markov Chain Monte Carlo 算法中的加速

    提出使用三阶 Langevin 动力学的马尔科夫链蒙特卡罗算法，用于采样具有对数凹和平滑密度函数的分布，并在广义线性模型下证明其结果仅需满足梯度的 Lipschitz 条件

    Aug, 2019

  • 随机梯度哈密尔顿蒙特卡罗

    研究了随机梯度 HMC，提出了一种使用带有摩擦项的二阶 Langevin 动力学的变体，以消除噪声梯度的影响，并使用该方法在神经网络和在线贝叶斯矩阵分解任务中验证了其有效性。

    Feb, 2014

  • 随机方差减少的哈密顿蒙特卡洛方法

    本文提出了一种快速的随机 Hamilton Monte Carlo 方法，用于从一个光滑而强烈对数凹的分布中进行采样。通过梯度复杂度来衡量算法的性能，实验结果表明，该算法在采样效率上跑赢了现有的 HMC 和 Stochastic Gradient HMC 方法。

    Feb, 2018

  • 混合蒙特卡罗算法的最优调节

    研究了高维度混合蒙特卡洛算法中的哈密顿动力学、接受概率、状态空间和维度，表明为了得到接受概率为 O (1) 的最优性能，需要对步长进行适当缩放，并且该算法需要使用 O (d^(1/4)) 步来遍历状态空间。

    Jan, 2010

  • 反射哈密顿蒙特卡洛截断对数凹采样

    介绍一种名为 Reflective Hamiltonian Monte Carlo (ReHMC) 的 HMC-based 算法，用于从受限于凸体的对数凹分布中进行采样，该算法在高维数据集上表现出色，并在采样时间和精度方面优于其他算法。

    Feb, 2021

  • Metropolized Hamiltonian Monte Carlo 的对数平滑梯度集中性与更紧致的运行时

    通过基于梯度范式的均值紧密集中证明了 Metropolized Hamiltonian Monte Carlo 算法在从强 logconcave 分布中进行采样方面的状态最前沿，通过介绍不同于先前文献的限制和新的降低技术，我们提出了高精度混合时间结果， 大大优化了传统的 Metropolized first-order 方法。

    Feb, 2020

  • 针对良好条件分布的 Metropolized 采样方法下限

    给出了使用两种蒙特卡罗采样方法（MALA 和 HMC）在良好条件的分布下性能的下界，并确定了每种方法的最短混合时间和松弛时间。该文还发现了跃点积分和 Chebyshev 多项式之间的新连接。

    Jun, 2021

  • Langevin Monte Carlo 与不准确梯度的用户友好保证

    本文研究了从已知平滑和强对数凹概率密度函数中采样的方法， 分析了基于过渡态随机游走的近似采样方法，并提出了几种保证误差的方法， 包括第一阶 Langevin Monte Carlo 算法的误差上界、误差上界和梯度评估不准确的情况， 以及二阶 Langevin Monte Carlo 算法利用 log 密度的海森矩阵的保证。

    Sep, 2017