镜子 Langevin 算法在消失偏差时收敛
我们提出了一种名为 Metropolis-adjusted Mirror Langevin 算法的新方法,用于从支持为紧凸集的分布中进行近似抽样。该算法在镜像 Langevin 算法(Zhang 等人,2020)的单步离散化所产生的马尔可夫链中添加了接受 - 拒绝过滤器,而已知的镜像 Langevin 算法的离散化具有渐近偏差。当势函数相对平滑、凸且在自共轭镜像函数上满足 Lipschitz 条件时,我们给出了所提算法的混合时间的上界。作为算法产生的马尔可夫链可逆性的结果,我们对近似抽样的误差容限得到了指数级的改善依赖。我们还进行了数值实验以验证我们的理论发现。
Dec, 2023
本研究主要探讨了在 Hessian 型流形上的 Langevin 扩散过程与镜像下降的关系,运用该理论推导出了 Hessian Riemannian Langevin Monte Carlo 算法的非渐进抽样误差上限并证明了其适用性。
Feb, 2020
研究了一种从不合适条件的对数凹分布中进行采样的方法,证明了其具有无关维数和目标分布的快速收敛速率,进一步应用于优化中,提供了一种基于内点法的策略来从凸体上分布中进行均匀分布采样,这一方法新颖性的体现在于指出了 chi-squared divergence 的作用,为朴素 Langevin 漂移在 Wasserstein 距离内的收敛提供了新的结果。
May, 2020
研究了从受限分布中采样的问题,提出了一种统一的框架来导出新的一阶采样方案,并应用于 Dirichlet posteriors 中,证明了第一阶算法实现了收敛性,最后在真实数据集上报告了有希望的实验结果。
Feb, 2018
在这篇论文中,我们研究了应用于满足对数 Sobolev 不等式(LSI)的目标分布的先验扩散技术,证明了改进的 Langevin 算法在不同步长计划下能够获得与维度无关的 KL 散度收敛,并通过构建插值的 SDE 和准确描述过阻尼 Langevin 动力学离散更新的方法提供了理论分析的证明。我们的研究结果展示了先验扩散对更广泛类别的目标分布的优势,并为开发更快的采样算法提供了新的见解。
Mar, 2024
本研究解决了 Metropolis-Adjusted Langevin Algorithm 在非全局 Lipschitz drift 系数的 SDE 中存在的谱间隙问题,这个算法可以在有限的时间区间内近似路径地解决 SDE,并说明了该算法距离平衡点的收敛速度。
Aug, 2010
本文研究了 Metropolis-adjusted Langevin (MALA) 算法在基于无限维 Hibert 空间的自然目标测度上的效率,证明了该算法对于该类问题的收敛速度比 Random Walk Metropolis 更快,并可以探索不变量的度量,所需步数是其 $N$ 维逼近的第 $1/3$ 倍,适用于诸如 Bayesian 非参数统计学和条件扩散理论等领域。
Mar, 2011
该研究以 Langevin 动力学为例,探究基于梯度流的优化过程中的采样问题,提出了一种降低偏差的新算法 SLA,并证明了在高斯目标测度下它具有一致性。
Feb, 2018
研究 Langevin 扩散在采样、KL - 散度、强凸性、收敛速率等方面的应用,证明在目标密度是 L 光滑且 m 强凸的情况下,该扩散可以在几步内收敛于目标分布,同时揭示了在强凸性假设缺失时的收敛速率。
May, 2017