超越对数凹性:使用模拟淬火 Langevin Monte Carlo 取样多峰分布的可证明保障
本文对应用于限制在凸体上的对数凸概率分布的 Langevin Monte Carlo 采样算法进行了详细的理论分析,该方法依赖于涉及与 K 相关的指示函数的 Moreau-Yosida 包络的正则化过程,建立了总变差范数和一阶 Wasserstein 距离的显式收敛界限,并且给出了有限状态空间维数的算法复杂度是多项式级别的证明。最后,我们提供了一些数值实验,与文献中的竞争 MCMC 方法进行比较。
May, 2017
使用 Langevin 扩散过程进行离散化的蒙特卡洛算法可用于对光滑且强对数凹密度进行采样,本文主要研究了这个框架,并证明了基于 kinetic Langevin 扩散的 Monte Carlo 算法的混合性质和采样质量,进一步证明了 Hessian 矩阵 Lipschitz 连续的情况下,使用新的离散化方法可以显著提高采样误差的上界。
Jul, 2018
该论文研究了近似采样的问题,特别是非对数凹分布的问题,提出了基于 Langevin Monte Carlo 算法的马尔可夫链蒙特卡洛方法,并在两种非光滑分布的情况下进行了数字模拟来比较算法的性能。
May, 2023
通过采样不满足对数凹条件且仅具有弱耗散性的分布来解决深度学习中常见的不满足标准 Lipschitz 光滑性要求的问题,该采样问题要求考虑目标分布满足对数索伯勒夫或某种柯西不等式以及局部 Lipschitz 光滑性假设,通过引入一种与目标分布的增长和衰减特性相关的驯服方案,提供了关于 Kullback-Leibler(KL)散度、总变分和 Wasserstein 距离与目标分布的显式非渐进保证的采样器。
May, 2024
通过投影步骤(与投影随机梯度下降类似),我们将 Langevin Monte Carlo(LMC)算法扩展到紧支持测度。我们的主要结果特别表明,当目标分布是均匀分布时,LMC 在 $\tilde {O}(n^7)$ 步内混合。我们还提供初步的实验证据表明,LMC 的表现至少与 hit-and-run 相当,而 Lov {\'a} sz 和 Vempala 证明了更好的混合时间为 $\tilde {O}(n^4)$。
Jul, 2015
本文针对具有强烈对数凹密度的平滑目标分布的采样问题进行探究,借助随机中点离散化方法,建立可计算的 Wasserstein-2 误差的上界,并基于中点离散化的 Langevin 扩散过程进行分析以明确其基本原理和提供有价值的见解,进而建立起更改进的上界以改进 Euler 离散化的 Langevin 扩散过程。
Jun, 2023
本文研究了从已知平滑和强对数凹概率密度函数中采样的方法, 分析了基于过渡态随机游走的近似采样方法,并提出了几种保证误差的方法, 包括第一阶 Langevin Monte Carlo 算法的误差上界、误差上界和梯度评估不准确的情况, 以及二阶 Langevin Monte Carlo 算法利用 log 密度的海森矩阵的保证。
Sep, 2017
研究 Langevin 扩散在采样、KL - 散度、强凸性、收敛速率等方面的应用,证明在目标密度是 L 光滑且 m 强凸的情况下,该扩散可以在几步内收敛于目标分布,同时揭示了在强凸性假设缺失时的收敛速率。
May, 2017
本研究提出了一种基于欠阻尼 Langevin 扩散的 MCMC 算法来解决从对数凹分布中采样问题,并设计了一种新的模拟随机微分方程的框架,该框架不仅可以解决对数凹采样问题,还可以应用于任何涉及模拟(随机)微分方程的问题。
Sep, 2019
本文讨论了从定义在 R^p 上具有平滑和对数凹密度的分布中进行采样的问题,并通过考虑 Langevin Monte Carlo 方法及其变体对目标分布进行近似采样的误差来建立非渐近保证的界限,以及通过各种实验证明了建立保证的有效性。
Dec, 2014