高维高斯测度扰动下的 Metropolis-Hastings 算法误差界
本文研究了 Metropolis-adjusted Langevin (MALA) 算法在基于无限维 Hibert 空间的自然目标测度上的效率,证明了该算法对于该类问题的收敛速度比 Random Walk Metropolis 更快,并可以探索不变量的度量,所需步数是其 $N$ 维逼近的第 $1/3$ 倍,适用于诸如 Bayesian 非参数统计学和条件扩散理论等领域。
Mar, 2011
研究了如何从强对数凹密度分布中进行采样,并证明了使用 Metropolis-adjusted Langevin 算法(MALA)混合时间的非渐近上界。结果表明 MALA 与未调整的 Langevin 算法(ULA)相比,使用接受 - 拒绝步骤可以在误差容限上实现指数级改进。此外,我们提供了一些数字例子来支持我们的理论发现,并证明了适应 Metropolis-Hastings 调整的 Langevin 类型采样算法的好处。
Jan, 2018
本文提出的正则性条件使我们能够在许多统计和机器学习应用中获取更快的边界。其中包括使用弱凸先验分布的贝叶斯逻辑回归和学习 0-1 损失函数的线性分类器的非凸优化问题。本文的主要技术贡献是我们通过能量守恒误差对 MALA 的 Metropolis 接受概率进行分析,并通过三阶和四阶正则性条件限制该误差。
Feb, 2019
该论文提出了新的 Metropolis-adjusted Langevin 算法 (MALA),利用凸分析高效地模拟从高维度密度中提取属于对数凹集的样本,可应用于高维、不连续可微分的密度分布,在图像处理和机器学习领域有重要应用价值。
Jun, 2013
本研究解决了 Metropolis-Adjusted Langevin Algorithm 在非全局 Lipschitz drift 系数的 SDE 中存在的谱间隙问题,这个算法可以在有限的时间区间内近似路径地解决 SDE,并说明了该算法距离平衡点的收敛速度。
Aug, 2010
该文研究了非渐近情况下,基于新的技术 ─ Metropolis 调整的投影特征,将 MALA 算法的分析简化到 Langevin SDE 分析领域,从而证明了在一定条件下,MALA 算法得到的混合时间为 O (d^(1/2))
Dec, 2020
给出了使用两种蒙特卡罗采样方法(MALA 和 HMC)在良好条件的分布下性能的下界,并确定了每种方法的最短混合时间和松弛时间。该文还发现了跃点积分和 Chebyshev 多项式之间的新连接。
Jun, 2021
本研究研究了在 $\mathbb {R}^d$ 上采样目标密度的 Metropolis-Adjusted Langevin 算法的混合时间,发现它在一定条件下的混合时间为 $O ((L\Upsilon)^{\frac12}/\psi_\mu^2\log (1/\epsilon))$。
Apr, 2023
本研究提出了一种新的基于 Langevin 扩散的位置相关 Metropolis-adjusted Langevin 算法(MALA),研究表明这种算法在某些情况下与先前提出的 MALA 基于的扩散相等,但在一般情况下是不同的,并具有更高的效率。
Sep, 2013
通过计算关键批次的接受概率,我们展示了在一些应用中通过简单的修正可以避免随机 Metropolis-Hastings 步骤降低有效样本量的障碍。我们在非参数回归背景下运用修正的随机 Metropolis-Hastings 方法,研究了链的稳定分布的统计性质,并通过证明 PAC-Bayes 学习器不等式来获得最优收缩速率,分析了置信集的直径和高覆盖概率。通过高维参数空间中的数值例子,我们展示了随机 Metropolis-Hastings 算法得到的置信集和收缩速率与经典的 Metropolis-adjusted Langevin 算法结果的相似性。
Oct, 2023