非对数凹和非光滑采样的 Langevin Monte Carlo 算法
本文提出了一种基于 Langevin Monte Carlo 算法的分布采样方法,它可以在非光滑的对数凹分布下提供多项式时间收敛保证,并通过控制高斯扰动的偏差和方差来实现。
May, 2019
本文介绍一种采用各向同性高斯平滑处理的框架来解决高维 Markov 链蒙特卡罗采样中存在的难题,通过对具有对数凹的密度下的条件密度进行采样来实现,同时以最小历史方式保持跟踪样本历史, 将采样算法推广到了步行跳跃采样,并通过与其他 Langevin MCMC 算法的比较量化了本文提出的算法的优越性以及其在分布模态之间的 “隧道” 传输能力。
May, 2023
研究 Langevin Monte Carlo 算法在凸函数情况下的收敛性,其中潜在函数在定义域上是全局 Lipschitz 并且通常是任意凸集合上有限数量仿射函数的最大值,与大多数现有工作不同的是潜在函数没有被假设为梯度 Lipschitz。
Jan, 2021
研究重点在于使用 Langevin 扩散和模拟退火方法构建一种 Markov 链,能够在考虑温度的情况下从多种形式的分布中进行快速采样。
Oct, 2017
通过投影步骤(与投影随机梯度下降类似),我们将 Langevin Monte Carlo(LMC)算法扩展到紧支持测度。我们的主要结果特别表明,当目标分布是均匀分布时,LMC 在 $\tilde {O}(n^7)$ 步内混合。我们还提供初步的实验证据表明,LMC 的表现至少与 hit-and-run 相当,而 Lov {\'a} sz 和 Vempala 证明了更好的混合时间为 $\tilde {O}(n^4)$。
Jul, 2015
本文对应用于限制在凸体上的对数凸概率分布的 Langevin Monte Carlo 采样算法进行了详细的理论分析,该方法依赖于涉及与 K 相关的指示函数的 Moreau-Yosida 包络的正则化过程,建立了总变差范数和一阶 Wasserstein 距离的显式收敛界限,并且给出了有限状态空间维数的算法复杂度是多项式级别的证明。最后,我们提供了一些数值实验,与文献中的竞争 MCMC 方法进行比较。
May, 2017
使用 Langevin 扩散过程进行离散化的蒙特卡洛算法可用于对光滑且强对数凹密度进行采样,本文主要研究了这个框架,并证明了基于 kinetic Langevin 扩散的 Monte Carlo 算法的混合性质和采样质量,进一步证明了 Hessian 矩阵 Lipschitz 连续的情况下,使用新的离散化方法可以显著提高采样误差的上界。
Jul, 2018
研究了 Langevin Monte Carlo 算法及其扩展 Fractional Langevin Monte Carlo 在非凸优化问题中的用法和收敛性,证明了 Fractional Langevin Monte Carlo 算法的有限时间界,得到了选择较小步长的建议。
Jan, 2019
该研究将研究重点放在了光滑且强凸目标分布的欠阻尼 Langevin 扩散上,并提出了基于该扩散的 MCMC 算法,证明 2 - 瓦瑟斯坦距离下其误差达到 ε 的时间复杂度是 O (√d/ε),超越了同样假设下过阻尼 Langevin MCMC 的最佳步骤数,该方法可视为在应用领域中表现优越的 Hamiltonian Monte Carlo 方法的一种。
Jul, 2017
本文研究了从已知平滑和强对数凹概率密度函数中采样的方法, 分析了基于过渡态随机游走的近似采样方法,并提出了几种保证误差的方法, 包括第一阶 Langevin Monte Carlo 算法的误差上界、误差上界和梯度评估不准确的情况, 以及二阶 Langevin Monte Carlo 算法利用 log 密度的海森矩阵的保证。
Sep, 2017