镜像 Langevin 算法实现高效约束采样
我们提出了一种名为 Metropolis-adjusted Mirror Langevin 算法的新方法,用于从支持为紧凸集的分布中进行近似抽样。该算法在镜像 Langevin 算法(Zhang 等人,2020)的单步离散化所产生的马尔可夫链中添加了接受 - 拒绝过滤器,而已知的镜像 Langevin 算法的离散化具有渐近偏差。当势函数相对平滑、凸且在自共轭镜像函数上满足 Lipschitz 条件时,我们给出了所提算法的混合时间的上界。作为算法产生的马尔可夫链可逆性的结果,我们对近似抽样的误差容限得到了指数级的改善依赖。我们还进行了数值实验以验证我们的理论发现。
Dec, 2023
研究了一种从不合适条件的对数凹分布中进行采样的方法,证明了其具有无关维数和目标分布的快速收敛速率,进一步应用于优化中,提供了一种基于内点法的策略来从凸体上分布中进行均匀分布采样,这一方法新颖性的体现在于指出了 chi-squared divergence 的作用,为朴素 Langevin 漂移在 Wasserstein 距离内的收敛提供了新的结果。
May, 2020
该研究探讨了优化中将问题的几何形状从欧几里得度量变为黑塞度量的技术,并研究了基于镜面流的镜面 Langevin 算法的偏差收敛性和混合时间界限。研究表明,这种算法可以通过自协调条件来实现收敛。
Sep, 2021
本研究主要探讨了在 Hessian 型流形上的 Langevin 扩散过程与镜像下降的关系,运用该理论推导出了 Hessian Riemannian Langevin Monte Carlo 算法的非渐进抽样误差上限并证明了其适用性。
Feb, 2020
研究了从受限分布中采样的问题,提出了一种统一的框架来导出新的一阶采样方案,并应用于 Dirichlet posteriors 中,证明了第一阶算法实现了收敛性,最后在真实数据集上报告了有希望的实验结果。
Feb, 2018
使用 Langevin 扩散过程进行离散化的蒙特卡洛算法可用于对光滑且强对数凹密度进行采样,本文主要研究了这个框架,并证明了基于 kinetic Langevin 扩散的 Monte Carlo 算法的混合性质和采样质量,进一步证明了 Hessian 矩阵 Lipschitz 连续的情况下,使用新的离散化方法可以显著提高采样误差的上界。
Jul, 2018
本文对应用于限制在凸体上的对数凸概率分布的 Langevin Monte Carlo 采样算法进行了详细的理论分析,该方法依赖于涉及与 K 相关的指示函数的 Moreau-Yosida 包络的正则化过程,建立了总变差范数和一阶 Wasserstein 距离的显式收敛界限,并且给出了有限状态空间维数的算法复杂度是多项式级别的证明。最后,我们提供了一些数值实验,与文献中的竞争 MCMC 方法进行比较。
May, 2017
研究 Langevin 扩散在采样、KL - 散度、强凸性、收敛速率等方面的应用,证明在目标密度是 L 光滑且 m 强凸的情况下,该扩散可以在几步内收敛于目标分布,同时揭示了在强凸性假设缺失时的收敛速率。
May, 2017
研究重点在于使用 Langevin 扩散和模拟退火方法构建一种 Markov 链,能够在考虑温度的情况下从多种形式的分布中进行快速采样。
Oct, 2017
本文针对具有强烈对数凹密度的平滑目标分布的采样问题进行探究,借助随机中点离散化方法,建立可计算的 Wasserstein-2 误差的上界,并基于中点离散化的 Langevin 扩散过程进行分析以明确其基本原理和提供有价值的见解,进而建立起更改进的上界以改进 Euler 离散化的 Langevin 扩散过程。
Jun, 2023