基于李群的动力 Langevin Monte Carlo 的收敛性
通过变分优化和动量微化,可以构建优化 Lie 群上定义的函数的显式的基于动量的动力学方法。本文研究了两种离散化方法:Lie Heavy-Ball 和 Lie NAG-SC,分别提供了 L 平滑性和局部强凸性的显式收敛速度。与现有的一般流形加速优化器相比,Lie Heavy-Ball 和 Lie NAG-SC 都计算成本更低、更易实现,因为它们利用了群结构。只需要梯度预言子和指数映射,而不需要计算昂贵的对数映射或平行运输。
May, 2024
通过几何 Langevin MCMC 从一个 Riemann 流形 M 上的 Gibbs 分布 dπ* 进行高效采样的任务,我们提出了一种在实践中可实现的算法,该算法涉及在随机高斯方向上计算指数映射。通过对几何 Euler-Murayama 方案的离散化误差进行界定,假设▽h 是 Lipschitz 的且 M 具有有界的切向曲率,我们的误差界限与欧几里得 Euler-Murayama 的误差相匹配,结合 Kendall-Cranston 耦合下的几何 Langevin 扩散的收缩保证,我们证明 Langevin MCMC 迭代在经过~O (ε^-2) 次步骤后,与 π* 之间的 Wasserstein 距离小于 ε,这与欧几里得 Langevin MCMC 的迭代复杂性相匹配。我们的结果适用于具有非凸 h 和具有负 Ricci 曲率的一般设置。在额外的假设下,即 Riemann 曲率张量具有有界导数且 π* 满足 CD (・,∞) 条件,我们分析了 Langevin MCMC 的随机梯度版本,并将其迭代复杂性限制在~O (ε^-2) 次。
Feb, 2024
使用 Langevin 扩散过程进行离散化的蒙特卡洛算法可用于对光滑且强对数凹密度进行采样,本文主要研究了这个框架,并证明了基于 kinetic Langevin 扩散的 Monte Carlo 算法的混合性质和采样质量,进一步证明了 Hessian 矩阵 Lipschitz 连续的情况下,使用新的离散化方法可以显著提高采样误差的上界。
Jul, 2018
研究采用未校准 Langevin Monte Carlo 算法从目标分布采样当势能满足强弛散条件、具有 Lipschitz 梯度和首阶平滑性,证明其在 Chi-squared divergence 和 Renyi divergence 下,迭代一定步数后可保证达到目标的 ε 邻域。
Jul, 2020
研究 Langevin 扩散在采样、KL - 散度、强凸性、收敛速率等方面的应用,证明在目标密度是 L 光滑且 m 强凸的情况下,该扩散可以在几步内收敛于目标分布,同时揭示了在强凸性假设缺失时的收敛速率。
May, 2017
该论文提出了一个理论框架,将一般的 MCMC 动力学识别为在纤维 - 里曼诺泊松流形的 Wasserstein 空间上的纤维梯度哈密顿流,同时使 ParVI 模拟具有更高效的动力学,丰富了 ParVI 家族,证明了在实验中的优点。
Feb, 2019
基于随机化的 Nesterov 方案,我们开发了一类新颖的 MCMC 算法。我们通过适当地添加噪声,得到了一种时间非齐次的欠阻尼 Langevin 方程,并证明它的不变测度是一个指定的目标分布。同时,我们还建立了它在 Wasserstein-2 距离下的收敛速率。我们还提供了调整的 Metropolis 和随机梯度版本的所提出的 Langevin 动力学。实验演示显示出所提出的方法在统计学和图像处理中不同模型上优于典型的 Langevin 抽样器,包括更好的 Markov 链混合性能。
Nov, 2023
本文研究了图像生成的任务,结合马尔可夫链蒙特卡罗技术及 Langevin Dynamics 的理论优势,提出使用流形假设减少混合时间并利用多尺度算法解决高维采样空间对计算性能的影响,以达到平衡图像质量和计算成本的目的。
Jun, 2020
本研究研究了在采样中采用了过阻尼和欠阻尼 Langevin MCMC,证明了算法的迭代复杂度在维度和目标准确度方面均是多项式级别的,但在问题参数 LR ^ 2 中是指数级别的,从而可以更好地进行非凸优化。
May, 2018
本文对应用于限制在凸体上的对数凸概率分布的 Langevin Monte Carlo 采样算法进行了详细的理论分析,该方法依赖于涉及与 K 相关的指示函数的 Moreau-Yosida 包络的正则化过程,建立了总变差范数和一阶 Wasserstein 距离的显式收敛界限,并且给出了有限状态空间维数的算法复杂度是多项式级别的证明。最后,我们提供了一些数值实验,与文献中的竞争 MCMC 方法进行比较。
May, 2017