针对良好条件分布的 Metropolized 采样方法下限
研究了如何从强对数凹密度分布中进行采样,并证明了使用 Metropolis-adjusted Langevin 算法(MALA)混合时间的非渐近上界。结果表明 MALA 与未调整的 Langevin 算法(ULA)相比,使用接受 - 拒绝步骤可以在误差容限上实现指数级改进。此外,我们提供了一些数字例子来支持我们的理论发现,并证明了适应 Metropolis-Hastings 调整的 Langevin 类型采样算法的好处。
Jan, 2018
本文研究了自适应 Metropolis-Langevin 算法在连续分布中采样的效果,推导出了对于密度函数满足某些特征的情况下,Kantorovich-Rubinstein-Wasserstein 距离的上界;并且该上界不依赖于维度,且在一定步长范围内成立。
Oct, 2012
本文研究 Hamiltonian Monte Carlo 算法及其变种 Metropolized HMC 在连续空间中从光滑概率密度函数中提取样本的能力,并提供了关于混合时间的理论证明和分析。
May, 2019
该文研究了非渐近情况下,基于新的技术 ─ Metropolis 调整的投影特征,将 MALA 算法的分析简化到 Langevin SDE 分析领域,从而证明了在一定条件下,MALA 算法得到的混合时间为 O (d^(1/2))
Dec, 2020
本研究研究了在 $\mathbb {R}^d$ 上采样目标密度的 Metropolis-Adjusted Langevin 算法的混合时间,发现它在一定条件下的混合时间为 $O ((L\Upsilon)^{\frac12}/\psi_\mu^2\log (1/\epsilon))$。
Apr, 2023
本文提出的正则性条件使我们能够在许多统计和机器学习应用中获取更快的边界。其中包括使用弱凸先验分布的贝叶斯逻辑回归和学习 0-1 损失函数的线性分类器的非凸优化问题。本文的主要技术贡献是我们通过能量守恒误差对 MALA 的 Metropolis 接受概率进行分析,并通过三阶和四阶正则性条件限制该误差。
Feb, 2019
本文研究了 Metropolis-adjusted Langevin (MALA) 算法在基于无限维 Hibert 空间的自然目标测度上的效率,证明了该算法对于该类问题的收敛速度比 Random Walk Metropolis 更快,并可以探索不变量的度量,所需步数是其 $N$ 维逼近的第 $1/3$ 倍,适用于诸如 Bayesian 非参数统计学和条件扩散理论等领域。
Mar, 2011
本文研究哈密顿蒙特卡罗方法在采样强对数凹目标分布时的收敛速度,提出了一个比传统李普希茨海森常数条件更宽松的第三阶正则条件,并证明了二阶 “跳跃点” 算法的收敛速度为 $d^{1/4}$,并在合成数据的仿真实验中得到了验证。
Feb, 2018
本研究解决了 Metropolis-Adjusted Langevin Algorithm 在非全局 Lipschitz drift 系数的 SDE 中存在的谱间隙问题,这个算法可以在有限的时间区间内近似路径地解决 SDE,并说明了该算法距离平衡点的收敛速度。
Aug, 2010
研究了高维度混合蒙特卡洛算法中的哈密顿动力学、接受概率、状态空间和维度,表明为了得到接受概率为 O (1) 的最优性能,需要对步长进行适当缩放,并且该算法需要使用 O (d^(1/4)) 步来遍历状态空间。
Jan, 2010