弱条件下的驯服 Langevin 采样
使用 Langevin 扩散过程进行离散化的蒙特卡洛算法可用于对光滑且强对数凹密度进行采样,本文主要研究了这个框架,并证明了基于 kinetic Langevin 扩散的 Monte Carlo 算法的混合性质和采样质量,进一步证明了 Hessian 矩阵 Lipschitz 连续的情况下,使用新的离散化方法可以显著提高采样误差的上界。
Jul, 2018
研究重点在于使用 Langevin 扩散和模拟退火方法构建一种 Markov 链,能够在考虑温度的情况下从多种形式的分布中进行快速采样。
Oct, 2017
在这篇论文中,我们研究了应用于满足对数 Sobolev 不等式(LSI)的目标分布的先验扩散技术,证明了改进的 Langevin 算法在不同步长计划下能够获得与维度无关的 KL 散度收敛,并通过构建插值的 SDE 和准确描述过阻尼 Langevin 动力学离散更新的方法提供了理论分析的证明。我们的研究结果展示了先验扩散对更广泛类别的目标分布的优势,并为开发更快的采样算法提供了新的见解。
Mar, 2024
本文讨论了从定义在 R^p 上具有平滑和对数凹密度的分布中进行采样的问题,并通过考虑 Langevin Monte Carlo 方法及其变体对目标分布进行近似采样的误差来建立非渐近保证的界限,以及通过各种实验证明了建立保证的有效性。
Dec, 2014
文章研究了如何使用基于 Langevin 随机微分方程的采样方法,对高维概率分布进行采样, 并通过 Wasserstein 距离和总变差距离获得收敛到平稳状态的非渐进界限。同时,对于测量和有界函数报告了平均均方误差和指数偏差不等式的界限,并提供了二分类回归的贝叶斯推断例证。
May, 2016
该论文提出了新的调整 Langevin 算法的洞见,并表明该方法可以被公式化为定义在阶为 2 的 Wasserstein 空间上的目标函数的一阶优化算法。
Feb, 2018
本文研究了从已知平滑和强对数凹概率密度函数中采样的方法, 分析了基于过渡态随机游走的近似采样方法,并提出了几种保证误差的方法, 包括第一阶 Langevin Monte Carlo 算法的误差上界、误差上界和梯度评估不准确的情况, 以及二阶 Langevin Monte Carlo 算法利用 log 密度的海森矩阵的保证。
Sep, 2017
研究 Langevin 扩散在采样、KL - 散度、强凸性、收敛速率等方面的应用,证明在目标密度是 L 光滑且 m 强凸的情况下,该扩散可以在几步内收敛于目标分布,同时揭示了在强凸性假设缺失时的收敛速率。
May, 2017
本文提出了一种基于 Langevin Monte Carlo 算法的分布采样方法,它可以在非光滑的对数凹分布下提供多项式时间收敛保证,并通过控制高斯扰动的偏差和方差来实现。
May, 2019
本文对应用于限制在凸体上的对数凸概率分布的 Langevin Monte Carlo 采样算法进行了详细的理论分析,该方法依赖于涉及与 K 相关的指示函数的 Moreau-Yosida 包络的正则化过程,建立了总变差范数和一阶 Wasserstein 距离的显式收敛界限,并且给出了有限状态空间维数的算法复杂度是多项式级别的证明。最后,我们提供了一些数值实验,与文献中的竞争 MCMC 方法进行比较。
May, 2017