Langevin MCMC 在 KL 散度下的收敛性
使用 Langevin 扩散过程进行离散化的蒙特卡洛算法可用于对光滑且强对数凹密度进行采样,本文主要研究了这个框架,并证明了基于 kinetic Langevin 扩散的 Monte Carlo 算法的混合性质和采样质量,进一步证明了 Hessian 矩阵 Lipschitz 连续的情况下,使用新的离散化方法可以显著提高采样误差的上界。
Jul, 2018
研究采用未校准 Langevin Monte Carlo 算法从目标分布采样当势能满足强弛散条件、具有 Lipschitz 梯度和首阶平滑性,证明其在 Chi-squared divergence 和 Renyi divergence 下,迭代一定步数后可保证达到目标的 ε 邻域。
Jul, 2020
本研究研究了在采样中采用了过阻尼和欠阻尼 Langevin MCMC,证明了算法的迭代复杂度在维度和目标准确度方面均是多项式级别的,但在问题参数 LR ^ 2 中是指数级别的,从而可以更好地进行非凸优化。
May, 2018
提出使用三阶 Langevin 动力学的马尔科夫链蒙特卡罗算法,用于采样具有对数凹和平滑密度函数的分布,并在广义线性模型下证明其结果仅需满足梯度的 Lipschitz 条件
Aug, 2019
本文针对具有强烈对数凹密度的平滑目标分布的采样问题进行探究,借助随机中点离散化方法,建立可计算的 Wasserstein-2 误差的上界,并基于中点离散化的 Langevin 扩散过程进行分析以明确其基本原理和提供有价值的见解,进而建立起更改进的上界以改进 Euler 离散化的 Langevin 扩散过程。
Jun, 2023
研究重点在于使用 Langevin 扩散和模拟退火方法构建一种 Markov 链,能够在考虑温度的情况下从多种形式的分布中进行快速采样。
Oct, 2017
本文对应用于限制在凸体上的对数凸概率分布的 Langevin Monte Carlo 采样算法进行了详细的理论分析,该方法依赖于涉及与 K 相关的指示函数的 Moreau-Yosida 包络的正则化过程,建立了总变差范数和一阶 Wasserstein 距离的显式收敛界限,并且给出了有限状态空间维数的算法复杂度是多项式级别的证明。最后,我们提供了一些数值实验,与文献中的竞争 MCMC 方法进行比较。
May, 2017
在这篇论文中,我们研究了应用于满足对数 Sobolev 不等式(LSI)的目标分布的先验扩散技术,证明了改进的 Langevin 算法在不同步长计划下能够获得与维度无关的 KL 散度收敛,并通过构建插值的 SDE 和准确描述过阻尼 Langevin 动力学离散更新的方法提供了理论分析的证明。我们的研究结果展示了先验扩散对更广泛类别的目标分布的优势,并为开发更快的采样算法提供了新的见解。
Mar, 2024
本文通过对 Langevin Monte Carlo 采样算法的理论背景进行分析和实验,提出了一种新的计算密度函数收敛性的 Wasserstein 距离度量方法,并进一步研究了该采样算法与梯度下降优化算法之间的关系,同时还证明了一种基于噪声梯度评估的改进算法的收敛性.
Apr, 2017
该研究将研究重点放在了光滑且强凸目标分布的欠阻尼 Langevin 扩散上,并提出了基于该扩散的 MCMC 算法,证明 2 - 瓦瑟斯坦距离下其误差达到 ε 的时间复杂度是 O (√d/ε),超越了同样假设下过阻尼 Langevin MCMC 的最佳步骤数,该方法可视为在应用领域中表现优越的 Hamiltonian Monte Carlo 方法的一种。
Jul, 2017