Dec, 2020

Metropolis-Adjusted Langevin 算法的最优维度依赖

PDF
TL;DR该文研究了非渐近情况下，基于新的技术 ─ Metropolis 调整的投影特征，将 MALA 算法的分析简化到 Langevin SDE 分析领域，从而证明了在一定条件下，MALA 算法得到的混合时间为 O (d^(1/2))
metropolis-adjusted langevin algorithmmixing timenon-asymptoticlog-concave distributionsprojection characterization
发现论文，激发创造
  • 关于光滑性和等周性下 Metropolis-Adjusted Langevin 算法混合的简单证明

    本研究研究了在 $\mathbb {R}^d$ 上采样目标密度的 Metropolis-Adjusted Langevin 算法的混合时间，发现它在一定条件下的混合时间为 $O ((L\Upsilon)^{\frac12}/\psi_\mu^2\log (1/\epsilon))$。

    Apr, 2023

  • 对数凹采样：Metropolis-Hastings 算法速度快

    研究了如何从强对数凹密度分布中进行采样，并证明了使用 Metropolis-adjusted Langevin 算法（MALA）混合时间的非渐近上界。结果表明 MALA 与未调整的 Langevin 算法（ULA）相比，使用接受 - 拒绝步骤可以在误差容限上实现指数级改进。此外，我们提供了一些数字例子来支持我们的理论发现，并证明了适应 Metropolis-Hastings 调整的 Langevin 类型采样算法的好处。

    Jan, 2018

  • 高维 Langevin 算法的最优比例缩放和扩散极限

    本文研究了 Metropolis-adjusted Langevin (MALA) 算法在基于无限维 Hibert 空间的自然目标测度上的效率，证明了该算法对于该类问题的收敛速度比 Random Walk Metropolis 更快，并可以探索不变量的度量，所需步数是其 $N$ 维逼近的第 $1/3$ 倍，适用于诸如 Bayesian 非参数统计学和条件扩散理论等领域。

    Mar, 2011

  • MALA 算法的非渐进混合

    本研究解决了 Metropolis-Adjusted Langevin Algorithm 在非全局 Lipschitz drift 系数的 SDE 中存在的谱间隙问题，这个算法可以在有限的时间区间内近似路径地解决 SDE，并说明了该算法距离平衡点的收敛速度。

    Aug, 2010

  • 高维高斯测度扰动下的 Metropolis-Hastings 算法误差界

    本文研究了自适应 Metropolis-Langevin 算法在连续分布中采样的效果，推导出了对于密度函数满足某些特征的情况下，Kantorovich-Rubinstein-Wasserstein 距离的上界；并且该上界不依赖于维度，且在一定步长范围内成立。

    Oct, 2012

  • 针对良好条件分布的 Metropolized 采样方法下限

    给出了使用两种蒙特卡罗采样方法（MALA 和 HMC）在良好条件的分布下性能的下界，并确定了每种方法的最短混合时间和松弛时间。该文还发现了跃点积分和 Chebyshev 多项式之间的新连接。

    Jun, 2021

  • Metropolis-adjusted Langevin 算法的非凸采样

    本文提出的正则性条件使我们能够在许多统计和机器学习应用中获取更快的边界。其中包括使用弱凸先验分布的贝叶斯逻辑回归和学习 0-1 损失函数的线性分类器的非凸优化问题。本文的主要技术贡献是我们通过能量守恒误差对 MALA 的 Metropolis 接受概率进行分析，并通过三阶和四阶正则性条件限制该误差。

    Feb, 2019

  • 基于先验扩散的 Langevin 算法在非对数凹采样问题中的改进分析

    在这篇论文中，我们研究了应用于满足对数 Sobolev 不等式（LSI）的目标分布的先验扩散技术，证明了改进的 Langevin 算法在不同步长计划下能够获得与维度无关的 KL 散度收敛，并通过构建插值的 SDE 和准确描述过阻尼 Langevin 动力学离散更新的方法提供了理论分析的证明。我们的研究结果展示了先验扩散对更广泛类别的目标分布的优势，并为开发更快的采样算法提供了新的见解。

    Mar, 2024

  • 近端马尔可夫链蒙特卡罗算法

    该论文提出了新的 Metropolis-adjusted Langevin 算法 (MALA)，利用凸分析高效地模拟从高维度密度中提取属于对数凹集的样本，可应用于高维、不连续可微分的密度分布，在图像处理和机器学习领域有重要应用价值。

    Jun, 2013

  • 高阶 Langevin 拓扑在 Markov Chain Monte Carlo 算法中的加速

    提出使用三阶 Langevin 动力学的马尔科夫链蒙特卡罗算法，用于采样具有对数凹和平滑密度函数的分布，并在广义线性模型下证明其结果仅需满足梯度的 Lipschitz 条件

    Aug, 2019