May, 2020

Langevin Monte Carlo 的收敛性：尾部增长和平滑性的相互作用

PDF
TL;DR研究了从目标分布采样的 Langevin Monte Carlo 算法及其在 KL 散度方面的收敛速度，该收敛速度与函数潜力的尾部增长率无关，仅依赖于平滑性的顺序，并且允许具有中度尾部增长的广泛潜力类。
langevin monte carlokl-divergenceconvergence ratesmoothnesstail growth
发现论文，激发创造
  • Langevin 蒙特卡罗在 Chi-Squared 和 Renyi 分歧中的收敛

    研究采用未校准 Langevin Monte Carlo 算法从目标分布采样当势能满足强弛散条件、具有 Lipschitz 梯度和首阶平滑性，证明其在 Chi-squared divergence 和 Renyi divergence 下，迭代一定步数后可保证达到目标的 ε 邻域。

    Jul, 2020

  • 非凸背景下 Langevin 动力学算法的尖锐收敛速率

    本研究研究了在采样中采用了过阻尼和欠阻尼 Langevin MCMC，证明了算法的迭代复杂度在维度和目标准确度方面均是多项式级别的，但在问题参数 LR ^ 2 中是指数级别的，从而可以更好地进行非凸优化。

    May, 2018

  • Langevin MCMC 在 KL 散度下的收敛性

    研究 Langevin 扩散在采样、KL - 散度、强凸性、收敛速率等方面的应用，证明在目标密度是 L 光滑且 m 强凸的情况下，该扩散可以在几步内收敛于目标分布，同时揭示了在强凸性假设缺失时的收敛速率。

    May, 2017

  • 非光滑对数凹情况下的 Langevin Monte Carlo 算法

    研究 Langevin Monte Carlo 算法在凸函数情况下的收敛性，其中潜在函数在定义域上是全局 Lipschitz 并且通常是任意凸集合上有限数量仿射函数的最大值，与大多数现有工作不同的是潜在函数没有被假设为梯度 Lipschitz。

    Jan, 2021

  • 非光滑 Langevin Monte Carlo

    本文提出了一种基于 Langevin Monte Carlo 算法的分布采样方法，它可以在非光滑的对数凹分布下提供多项式时间收敛保证，并通过控制高斯扰动的偏差和方差来实现。

    May, 2019

  • 非凸优化中分数阶 Langevin 蒙特卡罗的非渐近分析

    研究了 Langevin Monte Carlo 算法及其扩展 Fractional Langevin Monte Carlo 在非凸优化问题中的用法和收敛性，证明了 Fractional Langevin Monte Carlo 算法的有限时间界，得到了选择较小步长的建议。

    Jan, 2019

  • 弱条件下的驯服 Langevin 采样

    通过采样不满足对数凹条件且仅具有弱耗散性的分布来解决深度学习中常见的不满足标准 Lipschitz 光滑性要求的问题，该采样问题要求考虑目标分布满足对数索伯勒夫或某种柯西不等式以及局部 Lipschitz 光滑性假设，通过引入一种与目标分布的增长和衰减特性相关的驯服方案，提供了关于 Kullback-Leibler（KL）散度、总变分和 Wasserstein 距离与目标分布的显式非渐进保证的采样器。

    May, 2024

  • Langevin Monte Carlo 与不准确梯度的用户友好保证

    本文研究了从已知平滑和强对数凹概率密度函数中采样的方法， 分析了基于过渡态随机游走的近似采样方法，并提出了几种保证误差的方法， 包括第一阶 Langevin Monte Carlo 算法的误差上界、误差上界和梯度评估不准确的情况， 以及二阶 Langevin Monte Carlo 算法利用 log 密度的海森矩阵的保证。

    Sep, 2017

  • 使用运动朗之万扩散从对数凹密度中采样

    使用 Langevin 扩散过程进行离散化的蒙特卡洛算法可用于对光滑且强对数凹密度进行采样，本文主要研究了这个框架，并证明了基于 kinetic Langevin 扩散的 Monte Carlo 算法的混合性质和采样质量，进一步证明了 Hessian 矩阵 Lipschitz 连续的情况下，使用新的离散化方法可以显著提高采样误差的上界。

    Jul, 2018

  • 高阶 Langevin 拓扑在 Markov Chain Monte Carlo 算法中的加速

    提出使用三阶 Langevin 动力学的马尔科夫链蒙特卡罗算法，用于采样具有对数凹和平滑密度函数的分布，并在广义线性模型下证明其结果仅需满足梯度的 Lipschitz 条件

    Aug, 2019