在流形假设下多尺度 Langevin 动力学的快速混合
通过几何 Langevin MCMC 从一个 Riemann 流形 M 上的 Gibbs 分布 dπ* 进行高效采样的任务,我们提出了一种在实践中可实现的算法,该算法涉及在随机高斯方向上计算指数映射。通过对几何 Euler-Murayama 方案的离散化误差进行界定,假设▽h 是 Lipschitz 的且 M 具有有界的切向曲率,我们的误差界限与欧几里得 Euler-Murayama 的误差相匹配,结合 Kendall-Cranston 耦合下的几何 Langevin 扩散的收缩保证,我们证明 Langevin MCMC 迭代在经过~O (ε^-2) 次步骤后,与 π* 之间的 Wasserstein 距离小于 ε,这与欧几里得 Langevin MCMC 的迭代复杂性相匹配。我们的结果适用于具有非凸 h 和具有负 Ricci 曲率的一般设置。在额外的假设下,即 Riemann 曲率张量具有有界导数且 π* 满足 CD (・,∞) 条件,我们分析了 Langevin MCMC 的随机梯度版本,并将其迭代复杂性限制在~O (ε^-2) 次。
Feb, 2024
研究了一种基于 Riemann 流形的 Hamiltonian Monte Carlo 采样算法,通过自适应方法规避了调整提议密度的需求,使得即使在高维状态空间建模中,也能更加高效地采样,该方法在众多实证分析中表现出较大的优越性,Matlab 代码在 http://www.dcs.gla.ac.uk/inference/rmhmc 可复现。
Jul, 2009
提出使用三阶 Langevin 动力学的马尔科夫链蒙特卡罗算法,用于采样具有对数凹和平滑密度函数的分布,并在广义线性模型下证明其结果仅需满足梯度的 Lipschitz 条件
Aug, 2019
基于动量的动力学方法的优化与采样机制的研究,其中涉及 Lie 群、变分优化、动量动力学与采样动力学,以及基于动量的动力学方法在曲面上的收敛性研究。
Mar, 2024
该论文研究了近似采样的问题,特别是非对数凹分布的问题,提出了基于 Langevin Monte Carlo 算法的马尔可夫链蒙特卡洛方法,并在两种非光滑分布的情况下进行了数字模拟来比较算法的性能。
May, 2023
本文提出一种新型的利用 Monge patch 嵌入为高维欧几里得空间,并采用由直接几何推理确定的诱导度量的可替代性黎曼度量,该度量仅需要一阶梯度信息和快速的逆和行列式,从而将计算迭代的复杂度从三次多项式降低到二次多项式,使得 Lagrangian Monte Carlo 在该度量下能够高效地探索目标分布。
Feb, 2022
基于随机化的 Nesterov 方案,我们开发了一类新颖的 MCMC 算法。我们通过适当地添加噪声,得到了一种时间非齐次的欠阻尼 Langevin 方程,并证明它的不变测度是一个指定的目标分布。同时,我们还建立了它在 Wasserstein-2 距离下的收敛速率。我们还提供了调整的 Metropolis 和随机梯度版本的所提出的 Langevin 动力学。实验演示显示出所提出的方法在统计学和图像处理中不同模型上优于典型的 Langevin 抽样器,包括更好的 Markov 链混合性能。
Nov, 2023
本研究提出了一种新的随机梯度马尔可夫链蒙特卡罗方法,通过使用拟牛顿优化方法的思想考虑局部几何,并使用样本和它们的梯度的有限历史直接近似逆海森矩阵。方法使用密集逆海森近似,同时保持时间和内存复杂度与问题的维数成线性关系,我们的理论分析表明,该方法在渐近无偏和一致后验期望的同时,实现了类似于黎曼方法的快速收敛率和对角线预处理方法的低计算要求。
Feb, 2016
使用 Langevin 扩散过程进行离散化的蒙特卡洛算法可用于对光滑且强对数凹密度进行采样,本文主要研究了这个框架,并证明了基于 kinetic Langevin 扩散的 Monte Carlo 算法的混合性质和采样质量,进一步证明了 Hessian 矩阵 Lipschitz 连续的情况下,使用新的离散化方法可以显著提高采样误差的上界。
Jul, 2018
该论文提出了一个理论框架,将一般的 MCMC 动力学识别为在纤维 - 里曼诺泊松流形的 Wasserstein 空间上的纤维梯度哈密顿流,同时使 ParVI 模拟具有更高效的动力学,丰富了 ParVI 家族,证明了在实验中的优点。
Feb, 2019