Mar, 2011

高维 Langevin 算法的最优比例缩放和扩散极限

PDF
TL;DR本文研究了 Metropolis-adjusted Langevin (MALA) 算法在基于无限维 Hibert 空间的自然目标测度上的效率，证明了该算法对于该类问题的收敛速度比 Random Walk Metropolis 更快，并可以探索不变量的度量，所需步数是其 $N$ 维逼近的第 $1/3$ 倍，适用于诸如 Bayesian 非参数统计学和条件扩散理论等领域。
metropolis-adjusted langevin algorithmmala algorithmtarget densitybayesian nonparametric statisticsinfinite dimensional diffusion process
发现论文，激发创造
  • 高维高斯测度扰动下的 Metropolis-Hastings 算法误差界

    本文研究了自适应 Metropolis-Langevin 算法在连续分布中采样的效果，推导出了对于密度函数满足某些特征的情况下，Kantorovich-Rubinstein-Wasserstein 距离的上界；并且该上界不依赖于维度，且在一定步长范围内成立。

    Oct, 2012

  • MALA 算法的非渐进混合

    本研究解决了 Metropolis-Adjusted Langevin Algorithm 在非全局 Lipschitz drift 系数的 SDE 中存在的谱间隙问题，这个算法可以在有限的时间区间内近似路径地解决 SDE，并说明了该算法距离平衡点的收敛速度。

    Aug, 2010

  • Langevin 扩散和 Metropolis-adjusted Langevin 算法

    本研究提出了一种新的基于 Langevin 扩散的位置相关 Metropolis-adjusted Langevin 算法（MALA），研究表明这种算法在某些情况下与先前提出的 MALA 基于的扩散相等，但在一般情况下是不同的，并具有更高的效率。

    Sep, 2013

  • Metropolis-Adjusted Langevin 算法的最优维度依赖

    该文研究了非渐近情况下，基于新的技术 ─ Metropolis 调整的投影特征，将 MALA 算法的分析简化到 Langevin SDE 分析领域，从而证明了在一定条件下，MALA 算法得到的混合时间为 O (d^(1/2))

    Dec, 2020

  • 近端马尔可夫链蒙特卡罗算法

    该论文提出了新的 Metropolis-adjusted Langevin 算法 (MALA)，利用凸分析高效地模拟从高维度密度中提取属于对数凹集的样本，可应用于高维、不连续可微分的密度分布，在图像处理和机器学习领域有重要应用价值。

    Jun, 2013

  • 对数凹采样：Metropolis-Hastings 算法速度快

    研究了如何从强对数凹密度分布中进行采样，并证明了使用 Metropolis-adjusted Langevin 算法（MALA）混合时间的非渐近上界。结果表明 MALA 与未调整的 Langevin 算法（ULA）相比，使用接受 - 拒绝步骤可以在误差容限上实现指数级改进。此外，我们提供了一些数字例子来支持我们的理论发现，并证明了适应 Metropolis-Hastings 调整的 Langevin 类型采样算法的好处。

    Jan, 2018

  • Metropolis-adjusted Langevin 算法的非凸采样

    本文提出的正则性条件使我们能够在许多统计和机器学习应用中获取更快的边界。其中包括使用弱凸先验分布的贝叶斯逻辑回归和学习 0-1 损失函数的线性分类器的非凸优化问题。本文的主要技术贡献是我们通过能量守恒误差对 MALA 的 Metropolis 接受概率进行分析，并通过三阶和四阶正则性条件限制该误差。

    Feb, 2019

  • 关于光滑性和等周性下 Metropolis-Adjusted Langevin 算法混合的简单证明

    本研究研究了在 $\mathbb {R}^d$ 上采样目标密度的 Metropolis-Adjusted Langevin 算法的混合时间，发现它在一定条件下的混合时间为 $O ((L\Upsilon)^{\frac12}/\psi_\mu^2\log (1/\epsilon))$。

    Apr, 2023

  • 基于先验扩散的 Langevin 算法在非对数凹采样问题中的改进分析

    在这篇论文中，我们研究了应用于满足对数 Sobolev 不等式（LSI）的目标分布的先验扩散技术，证明了改进的 Langevin 算法在不同步长计划下能够获得与维度无关的 KL 散度收敛，并通过构建插值的 SDE 和准确描述过阻尼 Langevin 动力学离散更新的方法提供了理论分析的证明。我们的研究结果展示了先验扩散对更广泛类别的目标分布的优势，并为开发更快的采样算法提供了新的见解。

    Mar, 2024

  • 针对良好条件分布的 Metropolized 采样方法下限

    给出了使用两种蒙特卡罗采样方法（MALA 和 HMC）在良好条件的分布下性能的下界，并确定了每种方法的最短混合时间和松弛时间。该文还发现了跃点积分和 Chebyshev 多项式之间的新连接。

    Jun, 2021