May, 2019

强对数凹分布的哈密顿蒙特卡罗优化收敛速率

PDF
TL;DR研究了用于采样强对数凹密度的哈密顿蒙特卡罗方法在实现时，理想状态下的弛豫时间是 O (κ) 时，其松弛时间（谱间隙的倒数）是 O (κ)，这比之前最好的上限 O (κ^1.5) 更优。当使用近乎最优的 ODE 求解器实现时，每一步需要进行 O ((κd)^0.5 (ε^-1)) 个梯度评估，总时间为 O ((κd)^1.5 (ε^-1))，并返回在 2-Wasserstein 距离内的一个 ε- 近似点。
hamiltonian monte carlologconcave densityspectral gapode solverwasserstein distance
发现论文，激发创造
  • 在强对数凹分布上快速混合的哈密尔顿蒙特卡罗算法

    本文研究了 Hamiltonian Monte Carlo 算法在强对数凹目标分布上的混合性能，并得出了基于维度的混合度量和用于从 π 中采样的 HMC 跳跃步的梯度评估相关定理。

    Aug, 2017

  • 随机方差减少的哈密顿蒙特卡洛方法

    本文提出了一种快速的随机 Hamilton Monte Carlo 方法，用于从一个光滑而强烈对数凹的分布中进行采样。通过梯度复杂度来衡量算法的性能，实验结果表明，该算法在采样效率上跑赢了现有的 HMC 和 Stochastic Gradient HMC 方法。

    Feb, 2018

  • Metropolized Hamiltonian Monte Carlo 的对数平滑梯度集中性与更紧致的运行时

    通过基于梯度范式的均值紧密集中证明了 Metropolized Hamiltonian Monte Carlo 算法在从强 logconcave 分布中进行采样方面的状态最前沿，通过介绍不同于先前文献的限制和新的降低技术，我们提出了高精度混合时间结果， 大大优化了传统的 Metropolized first-order 方法。

    Feb, 2020

  • 二阶哈密顿蒙特卡洛维度紧致界

    本文研究哈密顿蒙特卡罗方法在采样强对数凹目标分布时的收敛速度，提出了一个比传统李普希茨海森常数条件更宽松的第三阶正则条件，并证明了二阶 “跳跃点” 算法的收敛速度为 $d^{1/4}$，并在合成数据的仿真实验中得到了验证。

    Feb, 2018

  • 利用 Chebyshev 积分时间加速哈密顿蒙特卡罗

    本文提出了一种基于 Chebyshev 多项式根的变化积分时间的 HMC 加速采样方法，可以在更少的迭代次数内将理想 HMC 方法在 Wasserstein-2 距离上的误差降至小于给定的值，即提高了采样的效率。

    Jul, 2022

  • 常数条件下对数凹密度的常微分方程算法理论与采样

    本文提出了一种近似线性的多元常微分方程算法，用于解决样本采集问题，特别是针对 Hamiltonian Monte Carlo 的多维 logconcave 密度函数，拥有多项式对数深度。

    Dec, 2018

  • 反射哈密顿蒙特卡洛截断对数凹采样

    介绍一种名为 Reflective Hamiltonian Monte Carlo (ReHMC) 的 HMC-based 算法，用于从受限于凸体的对数凹分布中进行采样，该算法在高维数据集上表现出色，并在采样时间和精度方面优于其他算法。

    Feb, 2021

  • 黎曼哈密顿蒙特卡罗的收敛速率和更快的多面体体积计算

    Riemannian Hamiltonian Monte Carlo 在流形上的收敛性以及在流形上采样问题和计算体积问题中的应用。

    Oct, 2017

  • 欠阻尼 Langevin 马尔可夫链蒙特卡罗方法：非渐近分析

    该研究将研究重点放在了光滑且强凸目标分布的欠阻尼 Langevin 扩散上，并提出了基于该扩散的 MCMC 算法，证明 2 - 瓦瑟斯坦距离下其误差达到 ε 的时间复杂度是 O (√d/ε)，超越了同样假设下过阻尼 Langevin MCMC 的最佳步骤数，该方法可视为在应用领域中表现优越的 Hamiltonian Monte Carlo 方法的一种。

    Jul, 2017

  • 非凸背景下 Langevin 动力学算法的尖锐收敛速率

    本研究研究了在采样中采用了过阻尼和欠阻尼 Langevin MCMC，证明了算法的迭代复杂度在维度和目标准确度方面均是多项式级别的，但在问题参数 LR ^ 2 中是指数级别的，从而可以更好地进行非凸优化。

    May, 2018