Jul, 2017

欠阻尼 Langevin 马尔可夫链蒙特卡罗方法：非渐近分析

PDF
TL;DR该研究将研究重点放在了光滑且强凸目标分布的欠阻尼 Langevin 扩散上，并提出了基于该扩散的 MCMC 算法，证明 2 - 瓦瑟斯坦距离下其误差达到 ε 的时间复杂度是 O (√d/ε)，超越了同样假设下过阻尼 Langevin MCMC 的最佳步骤数，该方法可视为在应用领域中表现优越的 Hamiltonian Monte Carlo 方法的一种。
underdamped langevin diffusionmcmc2-wasserstein distancehamiltonian monte carloempirical wisdom
发现论文，激发创造
  • 非凸背景下 Langevin 动力学算法的尖锐收敛速率

    本研究研究了在采样中采用了过阻尼和欠阻尼 Langevin MCMC，证明了算法的迭代复杂度在维度和目标准确度方面均是多项式级别的，但在问题参数 LR ^ 2 中是指数级别的，从而可以更好地进行非凸优化。

    May, 2018

  • 标准分裂算法用于高维欠阻尼 Langevin 扩散的 MCMC

    本研究探讨了基于欠阻尼 Langevin 扰动的 Markov 链采样器在具有凸平滑势能的高维目标中的效率。研究人员使用一个经典的二阶积分器，每次迭代只需要计算一次梯度，并证明了离散时间链本身的沃舍斯坦距离的无尺度压缩和总变差距离的收敛率与维度无关。同时还得到了 Metropolis 调整链和未调整链的非渐进沃舍斯坦和总变差的效率界以及浓度不等式。 特别地，对于未调整链，无论在一般情况下、势函数海森斯的 Lipschitz 情况下还是可分离目标的情况下，沃舍斯坦效率界都是 $\sqrt d/\varepsilon$，与其他动态 Langevin 或 HMC 方案的已知结果相符合。

    Jul, 2020

  • Langevin Monte Carlo 与不准确梯度的用户友好保证

    本文研究了从已知平滑和强对数凹概率密度函数中采样的方法， 分析了基于过渡态随机游走的近似采样方法，并提出了几种保证误差的方法， 包括第一阶 Langevin Monte Carlo 算法的误差上界、误差上界和梯度评估不准确的情况， 以及二阶 Langevin Monte Carlo 算法利用 log 密度的海森矩阵的保证。

    Sep, 2017

  • 随机中点法用于对数凹采样

    本研究提出了一种基于欠阻尼 Langevin 扩散的 MCMC 算法来解决从对数凹分布中采样问题，并设计了一种新的模拟随机微分方程的框架，该框架不仅可以解决对数凹采样问题，还可以应用于任何涉及模拟（随机）微分方程的问题。

    Sep, 2019

  • 高阶 Langevin 拓扑在 Markov Chain Monte Carlo 算法中的加速

    提出使用三阶 Langevin 动力学的马尔科夫链蒙特卡罗算法，用于采样具有对数凹和平滑密度函数的分布，并在广义线性模型下证明其结果仅需满足梯度的 Lipschitz 条件

    Aug, 2019

  • 非对数凹和非光滑采样的 Langevin Monte Carlo 算法

    该论文研究了近似采样的问题，特别是非对数凹分布的问题，提出了基于 Langevin Monte Carlo 算法的马尔可夫链蒙特卡洛方法，并在两种非光滑分布的情况下进行了数字模拟来比较算法的性能。

    May, 2023

  • 使用运动朗之万扩散从对数凹密度中采样

    使用 Langevin 扩散过程进行离散化的蒙特卡洛算法可用于对光滑且强对数凹密度进行采样，本文主要研究了这个框架，并证明了基于 kinetic Langevin 扩散的 Monte Carlo 算法的混合性质和采样质量，进一步证明了 Hessian 矩阵 Lipschitz 连续的情况下，使用新的离散化方法可以显著提高采样误差的上界。

    Jul, 2018

  • Langevin MCMC 在 KL 散度下的收敛性

    研究 Langevin 扩散在采样、KL - 散度、强凸性、收敛速率等方面的应用，证明在目标密度是 L 光滑且 m 强凸的情况下，该扩散可以在几步内收敛于目标分布，同时揭示了在强凸性假设缺失时的收敛速率。

    May, 2017

  • 加速近似汤普森抽样与欠阻尼 Langevin 蒙特卡洛

    使用欠阻尼 Langevin Monte Carlo 的近似 Thompson 抽样策略，改善了高维问题中需求高准确性时的可扩展性问题，并通过合成实验在高维赌博问题中经验验证了该算法的可扩展性和鲁棒性。

    Jan, 2024

  • Langevin 蒙特卡罗在 Chi-Squared 和 Renyi 分歧中的收敛

    研究采用未校准 Langevin Monte Carlo 算法从目标分布采样当势能满足强弛散条件、具有 Lipschitz 梯度和首阶平滑性，证明其在 Chi-squared divergence 和 Renyi divergence 下，迭代一定步数后可保证达到目标的 ε 邻域。

    Jul, 2020